TIPO 500M Ft

🚀 TIPO: プロンプト最適化のためのテキスト事前サンプリングを用いたテキストから画像への変換

TIPO用に訓練された500MパラメータのLLaMAアーキテクチャのモデルです。
技術レポート: https://arxiv.org/abs/2411.08127

🚀 クイックスタート

このプロジェクトでは、「TIPO」（Text to Image with text presampling for Prompt Optimization）という革新的なフレームワークを導入しています。これは、テキストから画像への生成モデル（T2I）の品質と使いやすさを大幅に向上させるように設計されています。TIPOは、大規模言語モデル（LLM）を利用して、テキストから画像への生成モデリングの推論パイプライン内で「テキスト事前サンプリング」を行います。ユーザーの入力プロンプトを改良および拡張することで、TIPOは生成モデルが最小限のユーザー操作で優れた結果を生み出すことを可能にし、幅広いユーザーにとってT2Iシステムをよりアクセスしやすく、効果的なものにします。

✨ 主な機能

• 大規模言語モデル（LLM）を用いたテキスト事前サンプリングにより、ユーザー入力プロンプトを最適化。
• 様々なテキストから画像への生成モデルに適用可能で、画像生成の品質を向上。
• 複数のテストと指標において、他のモデルと比較して良好な性能を示す。

📦 インストール

DTG拡張機能の更新バージョン（z-tipo-extensionに名称変更）を使用します。現在のz-tipo-extensionのバージョンは、stable-diffusion-webui、stable-diffusion-webui-forge、ComfyUIをサポートしています。SD-Nextは未テストです。 https://github.com/KohakuBlueleaf/z-tipo-extension

📚 ドキュメント

モデルアーキテクチャと訓練

このモデルは200MパラメータのLLaMAアーキテクチャで、訓練データはDanbooru2023とCoyo-HD-11Mの組み合わせです。
総トークン数は約50Bトークンです。
詳細については、技術レポートと以下の表を参照してください。

*: 訓練データの長さの範囲が非常に広いため、総トークン数は「パディングされていないトークン」のみをカウントしています。
`: 訓練データが比較的短いため、一般的なLLM事前訓練と比べて同じトークン数に達するのに時間がかかります。
参考までに、最大コンテキスト長を4096とし、ほとんどのデータがその長さに達している場合、200MモデルでRTX 3090 x 4を使用すると、10Bトークンに達するのに約2日かかる可能性があります。

評価

評価はTIPO-200Mモデルで行われました
TIPOを他のモデルといくつかのテストと指標で比較しています。

風景タグテスト

このテストでは、単一の「風景」タグを入力として使用しています。（特定のメタ情報付き）
各プロンプト生成方法が、画像の品質を維持しながら、望ましい出力分布を得られるかどうかをテストします。

短い/切り捨てられた長いテキストテスト

このテストでは、GBC10MとCoyoHD11Mからの短いキャプションまたは手動で切り捨てられたキャプションを使用しています。
このテストは、ほぼ完成したプロンプトを処理する際のプロンプト生成方法の能力を調べます。

📄 ライセンス

このモデルはKohaku License 1.0の下で公開されています。
上記のURLを確認するか、このリポジトリ内のLICENSEファイルを確認してください。

引用

@misc{yeh2024tipotextimagetext,
      title={TIPO: Text to Image with Text Presampling for Prompt Optimization}, 
      author={Shih-Ying Yeh and Sang-Hyun Park and Giyeong Oh and Min Song and Youngjae Yu},
      year={2024},
      eprint={2411.08127},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2411.08127}, 
}