MicrosoftのVisualGPTが新技術をリリース「 ビジュアルGPT これは AI の進歩であり、ビジュアルと言語の間のギャップを埋めることで、より魅力的でインタラクティブな AI エクスペリエンスの可能性を解き放ちます。
VisualGPTとは何ですか?
VisualGPT は、NLP (自然言語処理) モデルに基づいた ChatGPT の拡張バージョンですが、VisualGPT では、テキスト クエリを画像形式に変換できる VFMS が使用されます。それは、テキストと画像のクエリの組み合わせ/統合であるようなものです。
VisualGPTの目的
テキスト形式のみに取り組んでいた ChatGPT が市場にリリースされた後、次のレベルの進歩を達成するために、これらすべての理由を踏まえ、AI 競争においてテキスト形式からグラフィック形式に対応する完璧なツールが登場しました。 Microsoft が VisualGPT をリリース VisualGPT の主な目的は、ユーザーの要求に応じて AI イメージを作成したり、イメージを分析したりすることです
VisualGPTのアーキテクチャ
VisualGPT には、ユーザー クエリ、プロンプト マネージャー、Visual Foundation Models (VFM)、システム原理、対話履歴、推論履歴、中間回答が含まれています。
そのモデルについて具体的に話すと、つまり「 VFM (ビジュアル ファウンデーション モデル) 」では、BLIP (Bootstrapping Language-Image Pre-training) や Stable Diffusion など、ほぼ 22 の VFM が使用されています。
Visual ChatGPT を実行するにはどうすればよいですか?
Visual ChatGPT を実行するには、次の手順を検討してください。
ステップ 1: 環境を作成する
まず、Python バージョン 3.8 の環境を作成する必要があります。
インポートシステム
sys.path.append ( 「/usr/local/lib/python3.8/site-packages」 )
ステップ 2: Visual ChatGPT ファイルのクローンを作成する
次に、次のコマンドを使用して、GitHub からビジュアル ChatGPT ファイルのクローンを作成します。
！ gitクローン https: // github.com / ディーパンシュ88 / ビジュアルチャットgpt.git 
ステップ 3: 新しいディレクトリをセットアップする
その後、以下のコマンドを使用して新しいディレクトリを設定します。
% CD ビジュアルチャットgptステップ 4: 必要なパッケージをインストールする
次に、「」を使用して必要なパッケージをインストールします。 ピップ ” コマンドレット:
！ カール https: // ブートストラップ.pypa.io / get-pip.py -O get-pip.py！ python3.8 get-pip.py
！ Python3.8 -m ピップ インストール -r 要件.txt
ステップ 5: OpenAI API にアクセスする
初期パッケージをインストールした後、「platform.openai.com」から API キーを取得し、認証された API 呼び出しを行うことで OpenAI API にアクセスします。
% 環境 OPENAI_API_KEY =sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxステップ 6: モデルを選択する
最後に、Openai にアクセスしてモデルを選択します。visualGPT で使用される 20 以上のモデルがあり、要件に応じて選択できます。
！ Python3.8 。 / Visual_chatgpt.py - 負荷 Text2Image_cuda: 0上記のコマンドでは、「 テキスト2画像 」がご利用の機種に該当します。詳細については、この Google Colab を確認してください ノート 。
結論
ChatGPT は、あらゆるクエリについて具体的な回答を得るために導入されましたが、現在 Microsoft は、テキスト データと画像データを処理できる VisualGPT を発表しました。これにより、ユーザーは要件をテキスト形式で追加するだけで、そのグラフィック出力を取得できるようになります。