AA Chameleon 7b Base

🚀 Align-Anything Chameleon 7B Base

Align-Anything Chameleon 7B Base 是一個強大的模型，支持文本與圖像交錯的輸入輸出。它基於 Chameleon 模型，並在 Align-Anything 框架上進行訓練，進一步釋放了圖像生成能力。

🚀 快速開始

若要使用該模型，你可以參考 Align-Anything 倉庫獲取更多詳細信息，包括訓練、推理和評估：

git clone https://github.com/PKU-Alignment/align-anything.git
cd align-anything/projects/text_image_to_text_image

然後按照 README.md 文件中的說明設置環境並運行腳本。

目前，官方的 Transformer 倉庫不支持帶有圖像輸出的 Chameleon 模型（更多詳情見 此 PR），因此我們依賴該倉庫的一個特定分支。

在安裝 Align-Anything 並正確設置環境後，你可以通過運行以下命令安裝該倉庫的穩定分支版本：

pip install git+https://github.com/htlou/transformers.git@hantao_stable_cham

如果你想生成圖像（純文本生成可直接使用 Transformers 完成），可以按照 mmsg_chameleon 倉庫中的說明進行推理：

git clone https://github.com/htlou/mmsg_chameleon.git
cd mmsg_chameleon

然後使用以下命令設置環境：

pip install -e . 

設置好環境後，在 scripts/interleaved_gen.sh 中設置正確的路徑，然後運行：

bash scripts/interleaved_gen.sh

📄 許可證

本項目採用 CC BY 4.0 許可證。