TIPO 500M

🚀 TIPO: Text to Image with text presampling for Prompt Optimization

このプロジェクトでは、テキストから画像への生成モデル（T2I）の品質と使いやすさを大幅に向上させる革新的なフレームワーク「TIPO」を紹介します。TIPOは、大規模言語モデル（LLM）を利用して、テキストから画像への生成モデリングの推論パイプライン内で「テキスト事前サンプリング」を行います。

🚀 クイックスタート

TIPOは、テキストから画像への生成モデルの品質と使いやすさを向上させるために開発された革新的なフレームワークです。以下の情報を参考に、TIPOを使用してみましょう。

✨ 主な機能

• テキスト事前サンプリング：大規模言語モデル（LLM）を利用して、ユーザー入力のプロンプトを精錬および拡張します。
• 高品質な画像生成：ユーザーの労力を最小限に抑えながら、生成モデルが優れた結果を生み出すことを可能にします。
• 幅広いユーザー層への対応：T2Iシステムをより多くのユーザーにアクセスしやすく、効果的なものにします。

📦 インストール

最新バージョンのDTG拡張機能（z-tipo-extensionに名称変更）を使用します。現在のz-tipo-extensionのバージョンは、stable-diffusion-webui、stable-diffusion-webui-forge、ComfyUIをサポートしています。SD-Nextは未テストです。 z-tipo-extensionのGitHubリポジトリ

📚 ドキュメント

モデルアーキテクチャとトレーニング

このモデルは200MパラメータのLLaMAアーキテクチャで、トレーニングデータはDanbooru2023とCoyo-HD-11Mの組み合わせです。総トークン数は約50Bトークンです。詳細については、技術レポートと以下の表を参照してください。

評価

TIPO-200Mモデルを使用して、他のモデルとの比較テストを行いました。

風景タグテスト

このテストでは、単一の「風景」タグを入力として使用します。（特定のメタ情報付き）各プロンプト生成方法が、画像の品質を維持しながら、望ましい出力分布を得られるかどうかをテストします。

短い/切り捨てられた長いキャプションテスト

このテストでは、GBC10MとCoyoHD11Mからの短いキャプションまたは手動で切り捨てられたキャプションを使用します。このテストは、ほぼ完成したプロンプトを処理する際のプロンプト生成方法の能力を調べます。

📄 ライセンス

このモデルは、Kohaku License 1.0の下で公開されています。上記のURLを確認するか、このリポジトリのLICENSEファイルを確認してください。

引用

@misc{yeh2024tipotextimagetext,
      title={TIPO: Text to Image with Text Presampling for Prompt Optimization}, 
      author={Shih-Ying Yeh and Sang-Hyun Park and Giyeong Oh and Min Song and Youngjae Yu},
      year={2024},
      eprint={2411.08127},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2411.08127}, 
}

情報テーブル