Dalle Mini

🚀 DALL·E mini - テキストから画像を生成

• 技術レポート
• デモ

モデルの説明

これは、OpenAIのDALL·Eを再現する試みです。DALL·Eは、望む結果を記述したテキストプロンプトから任意の画像を生成できるモデルです。

このモデルのアーキテクチャは、オリジナルを簡略化したもので、以前のオープンソースの取り組みと利用可能な事前学習済みモデルを活用しています。結果の質はOpenAIのものよりも低いですが、このモデルは要求の低いハードウェアでも学習や使用が可能です。私たちの学習は、単一のTPU v3-8で数日間行われました。

アーキテクチャの構成要素

このシステムは、Flax/JAXインフラストラクチャに依存しており、これらはTPU学習に最適です。TPUは必須ではなく、FlaxとJAXはどちらもGPUバックエンドで非常に効率的に動作します。

アーキテクチャの主な構成要素には以下が含まれます。

• BARTに基づくエンコーダ。エンコーダは、入力テキストトークンのシーケンスを画像トークンのシーケンスに変換します。入力トークンは、モデルのトークナイザーを使用してテキストプロンプトから抽出されます。画像トークンは固定長のシーケンスで、VQGANベースの事前学習済みコードブック内のインデックスを表します。

• 画像トークンを画像ピクセルに変換するデコーダ。上述のように、デコーダはVQGANモデルに基づいています。

エンコーダに使用するモデル定義は、私たちのGithubリポジトリからダウンロードできます。エンコーダはCustomFlaxBartForConditionalGenerationクラスで表されます。

デコーダを使用するには、ハブ内の付随するVQGANモデルflax-community/vqgan_f16_16384の指示に従う必要があります。

使い方

コードとモデルに慣れる最も簡単な方法は、私たちのgithubリポジトリにある推論ノートブックに従うことです。利便性のために、Google Colaboratoryで開くことができます。

学習済みモデルをテストし、何が生成されるかを確認したいだけの場合は、🤗 Spacesで利用可能なデモをご覧ください。

追加情報

私たちのレポートには、モデルの学習方法に関する詳細や、その能力を示す多くの例が含まれています。