AA Chameleon 7b Base

🚀 Align-Anything Chameleon 7B Base

Align-Anything Chameleon 7B Baseは、テキストと画像を交互に入出力できる強力なモデルです。このモデルは、画像生成能力をさらに引き出すために、Chameleonモデルをベースに、Align-Anythingフレームワークで学習されています。

🚀 クイックスタート

Align-Anything Chameleon 7B Baseは、テキストと画像を交互に入出力できるモデルです。このモデルは、Chameleonモデルをベースに、Align-Anythingフレームワークで学習されています。

✨ 主な機能

• テキストと画像を交互に入出力できる。
• 画像生成能力を備えている。

📦 インストール

このモデルを使用するには、Align-Anythingリポジトリを参照して、学習、推論、評価の詳細を確認してください。

git clone https://github.com/PKU-Alignment/align-anything.git
cd align-anything/projects/text_image_to_text_image

その後、README.mdファイルの指示に従って、環境をセットアップし、スクリプトを実行します。

現在、公式のTransformerリポジトリは画像出力を伴うChameleonモデルをサポートしていません（詳細はthis PRを参照）。そのため、特定のフォーク版のリポジトリを使用します。

Align-Anythingをインストールし、環境を正しくセットアップした後、以下のコマンドを実行して、フォーク版の安定バージョンをインストールします。

pip install git+https://github.com/htlou/transformers.git@hantao_stable_cham

画像を生成したい場合は（純粋なテキスト生成はTransformersで直接行えます）、mmsg_chameleonリポジトリの指示に従って推論を実行してください。

git clone https://github.com/htlou/mmsg_chameleon.git
cd mmsg_chameleon

次に、以下のコマンドを使用して環境をセットアップします。

pip install -e . 

環境をセットアップした後、scripts/interleaved_gen.shで正しいパスを設定し、以下のコマンドを実行します。

bash scripts/interleaved_gen.sh

📄 ライセンス

このプロジェクトは、CC BY 4.0ライセンスの下でライセンスされています。