Liquid V1 7B

🚀 Liquid

Liquidは、画像を離散コードにトークン化し、これらのコード埋め込みをテキストトークンとともに視覚と言語の共有特徴空間で学習することで、視覚理解と生成をシームレスに統合する自己回帰型生成パラダイムです。

🚀 クイックスタート

Liquidは、既存の大規模言語モデル（LLM）を拡張した自己回帰型モデルで、トランスフォーマーアーキテクチャを使用しています。このモデルは、画像とテキストを入力として受け取り、テキストまたは生成された画像を出力します。

✨ 主な機能

• 単一の大規模言語モデル（LLM）を使用して、視覚理解と生成を統合します。
• 外部の事前学習済み視覚埋め込み（CLIPなど）を必要としません。
• 多モーダルハイブリッドモデルのスケーリング則を探索し、理解と生成タスク間の相互促進現象を発見します。

📚 ドキュメント

モデルの詳細

Liquidは、画像を離散コードにトークン化し、これらのコード埋め込みをテキストトークンとともに視覚と言語の共有特徴空間で学習することで、視覚理解と生成をシームレスに統合する自己回帰型生成パラダイムです。これまでの多モーダル大規模言語モデル（MLLM）とは異なり、Liquidは単一の大規模言語モデル（LLM）を使用してこの統合を達成し、CLIPなどの外部の事前学習済み視覚埋め込みを必要としません。Liquidは、この多モーダルハイブリッドモデルのスケーリング則を探索し、理解と生成タスク間の相互促進現象を発見しました。

バリエーション

Liquidには、事前学習済みバリアントでは6種類のサイズ（0.5B、1B、2B、7B、9B、32Bパラメータ、多モーダルファミリーから）があり、命令微調整バリアントでは7B（GEMMAから）があります。

入力

モデルはテキストと画像を入力として受け取ります。

出力

モデルはテキストまたは生成された画像を出力します。

モデルアーキテクチャ

Liquidは、既存のLLMを拡張した自己回帰型モデルで、トランスフォーマーアーキテクチャを使用しています。

引用指示

@article{wu2024liquid,
    title={Liquid: Language Models are Scalable Multi-modal Generators},
    author={Wu, Junfeng and Jiang, Yi and Ma, Chuofan and Liu, Yuliang and Zhao, Hengshuang and Yuan, Zehuan and Bai, Song and Bai, Xiang},
    journal={arXiv preprint arXiv:2412.04332},
    year={2024}
}

📄 ライセンス

このプロジェクトはMITライセンスの下でライセンスされています。

📦 関連情報