Monkey Chat

🚀 Monkey: 大規模マルチモーダルモデルにおける画像解像度とテキストラベルの重要性

論文   |   詳細キャプション   |   モデルの重み   | wisemodelにおけるモデルの重み  

Monkey は、最初から事前学習を行わずに、入力解像度を最大896 x 1344ピクセルまで効率的に向上させるトレーニング手法を提供します。単純なテキストラベルと高い入力解像度の間のギャップを埋めるために、多レベルの説明生成方法を提案しています。この方法は、シーンとオブジェクトの間の文脈的な関連を学習するようにモデルを導く豊富な情報を自動的に提供します。これら2つの設計の相乗効果により、当社のモデルは複数のベンチマークで優れた結果を達成しました。GPT4Vを含む様々な大規模マルチモーダルモデル（LMM）と比較すると、当社のモデルは、テキスト情報に注目し、画像内の細かい詳細を捉えることで、画像キャプショニングにおいて有望なパフォーマンスを示します。また、入力解像度の向上により、密なテキストを含む文書画像でも顕著なパフォーマンスを発揮します。

✨ 主な機能

• 文脈的関連性：当社の方法は、質問に答える際に、ターゲット間の関係をより効果的に推論する優れた能力を示し、より包括的で洞察に富んだ結果を提供します。
• 最大1344 x 896の解像度をサポート：LMMで一般的に使用される標準の448 x 448解像度を超え、この大幅な解像度の向上により、目立たないまたは密集したオブジェクトや密なテキストを識別し理解する能力が高まります。
• 汎用性能の向上：16の多様なデータセットでテストを行い、当社のMonkeyモデルは、画像キャプショニング、一般的な視覚質問応答、テキスト中心の視覚質問応答、および文書指向の視覚質問応答などのタスクで印象的なパフォーマンスを発揮しました。

📦 インストール

conda create -n monkey python=3.9
conda activate monkey
git clone https://github.com/Yuliang-Liu/Monkey.git
cd ./Monkey
pip install -r requirements.txt

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer
checkpoint = "echo840/Monkey-Chat"
model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map='cuda', trust_remote_code=True).eval()
tokenizer = AutoTokenizer.from_pretrained(checkpoint, trust_remote_code=True)
tokenizer.padding_side = 'left'
tokenizer.pad_token_id = tokenizer.eod_id
img_path = ""
question = ""

#Monkey-Chat has the same prompt format for both vqa and detailed caption.
query = f'<img>{img_path}</img> {question} Answer: '

input_ids = tokenizer(query, return_tensors='pt', padding='longest')
attention_mask = input_ids.attention_mask
input_ids = input_ids.input_ids

pred = model.generate(
            input_ids=input_ids.cuda(),
            attention_mask=attention_mask.cuda(),
            do_sample=False,
            num_beams=1,
            max_new_tokens=512,
            min_new_tokens=1,
            length_penalty=1,
            num_return_sequences=1,
            output_hidden_states=True,
            use_cache=True,
            pad_token_id=tokenizer.eod_id,
            eos_token_id=tokenizer.eod_id,
            )
response = tokenizer.decode(pred[0][input_ids.size(1):].cpu(), skip_special_tokens=True).strip()
print(response)

📚 ドキュメント

デモ

2023年11月14日までに、一部のランダムな画像に対して、MonkeyがGPT4Vよりも正確な結果を得ることができることを確認しました。

また、元のデモのソースコードとモデルの重みを提供しており、特定のパラメータをカスタマイズして、よりユニークな体験を得ることができます。具体的な操作は以下の通りです。

1. 環境 を構成していることを確認してください。
2. オフラインまたはオンラインでデモを使用することができます。

• オフライン：
  • モデルの重み をダウンロードします。
  • demo.py ファイル内の DEFAULT_CKPT_PATH="pathto/Monkey" を、モデルの重みのパスに変更します。
  • 以下のコマンドを使用してデモを実行します。

  python demo.py
  

• オンライン：
  • 以下のコマンドを使用して、デモを実行し、モデルの重みをオンラインでダウンロードします。

  python demo.py -c echo840/Monkey 
  

データセット

多レベル説明生成方法によって生成されたデータをオープンソース化しています。詳細キャプション からダウンロードすることができます。

評価

evaluate_vqa.py ファイルには、14の視覚質問応答（VQA）データセットの評価コードが用意されており、結果をすぐに検証することができます。具体的な操作は以下の通りです。

1. 環境 を構成していることを確認してください。
2. sys.path.append("pathto/Monkey") を、モデルの重みのパスに変更します。
3. 評価に必要なデータセットを準備します。
4. 評価コードを実行します。

ESTVQAを例に説明します。

• 以下のディレクトリ構造に従ってデータを準備します。

├── data
|	├── estvqa
|		├── test_image
|			├── {image_path0}
|			├── {image_path1}
|				  ·
|				  ·
|	├── estvqa.jsonl

• 注釈付きの .jsonl ファイルの各行の形式の例：

{"image": "data/estvqa/test_image/011364.jpg", "question": "What is this store?", "answer": "pizzeria", "question_id": 0}

• 辞書 ds_collections を変更します。

ds_collections = {
	'estvqa_test': {
		'test': 'data/estvqa/estvqa.jsonl',
		'metric': 'anls',
		'max_new_tokens': 100,
	},
	...
}

• 以下のコマンドを実行します。

bash eval/eval.sh 'EVAL_PTH' 'SAVE_NAME'

トレーニング

Monkeyのモデル定義とトレーニングコードも提供しています。finetune_ds_debug.sh を実行することで、トレーニングコードを実行することができます。

⚠️ 重要提示

トレーニングデータのパスを指定する必要があります。これは会話のリストから構成されるJSONファイルである必要があります。

📄 ライセンス

Monkeyを引用する場合

ここに公開されているベースライン結果を参照する場合は、以下のBibTeXエントリを使用してください。

@article{li2023monkey,
  title={Monkey: Image Resolution and Text Label Are Important Things for Large Multi-modal Models},
  author={Li, Zhang and Yang, Biao and Liu, Qiang and Ma, Zhiyin and Zhang, Shuo and Yang, Jingxu and Sun, Yabo and Liu, Yuliang and Bai, Xiang},
  journal={arXiv preprint arXiv:2311.06607},
  year={2023}
}

Monkeyが可愛いと思ったら、スターをつけてください。これは私たちにとって大きな励みになります。

謝辞

Qwen-VL：当社が構築したコードベースです。Qwenの著者たちがフレームワークを提供してくれたことに感謝します。

著作権

Monkeyの改善に役立つ提案を歓迎します。何か質問があれば、Yuliang Liu博士にご連絡ください：ylliu@hust.edu.cn。面白いことを見つけた場合は、メールで私たちと共有するか、イシューをオープンしてください。ありがとうございます！