Dalle Mini

🚀 DALL·E mini - テキストから画像を生成

• 技術レポート
• デモ

🚀 クイックスタート

DALL·E miniは、テキストプロンプトから任意の画像を生成できるモデルです。このモデルは、OpenAIのDALL·Eを再現しようとする試みで、元のモデルよりもシンプルなアーキテクチャを持ち、より低いハードウェア要件でのトレーニングと使用が可能です。

✨ 主な機能

• テキストプロンプトから画像を生成することができます。
• シンプルなアーキテクチャで、低いハードウェア要件でのトレーニングと使用が可能です。

📚 ドキュメント

モデルの説明

このモデルは、OpenAIのDALL·Eを再現しようとする試みです。DALL·Eは、テキストプロンプトから任意の画像を生成できるモデルです。

このモデルのアーキテクチャは、元のモデルを簡略化したもので、以前のオープンソースの取り組みと利用可能な事前学習モデルを活用しています。結果はOpenAIのモデルよりも質が低いですが、このモデルはより低いハードウェア要件でのトレーニングと使用が可能です。私たちのトレーニングは、単一のTPU v3-8で数日間行われました。

アーキテクチャの構成要素

このシステムは、TPUトレーニングに最適なFlax/JAXインフラストラクチャに依存しています。TPUは必須ではなく、FlaxとJAXはどちらもGPUバックエンドで非常に効率的に動作します。

アーキテクチャの主な構成要素には以下が含まれます：

• BARTに基づくエンコーダ。エンコーダは、入力テキストトークンのシーケンスを画像トークンのシーケンスに変換します。入力トークンは、モデルのトークナイザーを使用してテキストプロンプトから抽出されます。画像トークンは固定長のシーケンスで、VQGANベースの事前学習コードブックのインデックスを表します。

• 画像トークンを画像ピクセルに変換するデコーダ。上述のように、デコーダはVQGANモデルに基づいています。

エンコーダに使用するモデル定義は、私たちのGithubリポジトリからダウンロードできます。エンコーダはCustomFlaxBartForConditionalGenerationクラスで表されます。

デコーダを使用するには、ハブ内の付属のVQGANモデルflax-community/vqgan_f16_16384の指示に従う必要があります。

使い方

コードとモデルに慣れる最も簡単な方法は、私たちのgithubリポジトリに提供されている推論ノートブックに従うことです。便利なように、Google Colaboratoryで開くことができます：

トレーニング済みモデルをテストして、何が生成されるかを確認したいだけの場合は、🤗 Spacesで利用可能な私たちのデモを訪問してください。

追加情報

私たちのレポートには、モデルのトレーニング方法に関する詳細が含まれており、その機能を示す多くの例が示されています。