Monkey

🚀 Monkey: 画像解像度とテキストラベルは大規模マルチモーダルモデルにとって重要な要素

Monkeyは、最初から事前学習することなく、入力解像度を最大896 x 1344ピクセルまで効果的に向上させるトレーニング効率の高いアプローチを提供します。単純なテキストラベルと高い入力解像度の間のギャップを埋めるために、多レベル記述生成方法を提案します。この方法は、シーンとオブジェクトの間の文脈的な関連付けを学習するようにモデルを導くことができる豊富な情報を自動的に提供します。これら2つの設計の相乗効果により、当社のモデルは複数のベンチマークで優れた結果を達成しました。GPT4Vを含む様々なLMMと当社のモデルを比較すると、当社のモデルはテキスト情報に注目し、画像内の細部を捉えることで、画像キャプショニングにおいて有望なパフォーマンスを示します。また、入力解像度が向上したことで、密なテキストを含む文書画像でも卓越したパフォーマンスを発揮します。

論文   |   詳細キャプション   |   モデルの重み   | wisemodelにおけるモデルの重み  

🚀 クイックスタート

Monkeyは、大規模マルチモーダルモデルにおける画像解像度とテキストラベルの重要性を考慮したアプローチを提供します。以下のセクションでは、Monkeyの環境構築、デモの実行、評価、トレーニング、推論などの手順を説明します。

✨ 主な機能

• 文脈的な関連付け：質問に答える際に、対象間の関係をより効果的に推論する能力に優れており、より包括的で洞察に富んだ結果を提供します。
• 最大1344 x 896の解像度をサポート：通常のLMMで使用される標準的な448 x 448解像度を超え、目立たないまたは密集したオブジェクトや密なテキストを識別および理解する能力を高めます。
• 全般的なパフォーマンスの向上：16の多様なデータセットでテストを行い、画像キャプショニング、一般的な視覚的質問応答、テキスト中心の視覚的質問応答、および文書指向の視覚的質問応答などのタスクで、Monkeyモデルが印象的なパフォーマンスを発揮します。

📦 インストール

conda create -n monkey python=3.9
conda activate monkey
git clone https://github.com/Yuliang-Liu/Monkey.git
cd ./Monkey
pip install -r requirements.txt

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer
checkpoint = "echo840/Monkey"
model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map='cuda', trust_remote_code=True).eval()
tokenizer = AutoTokenizer.from_pretrained(checkpoint, trust_remote_code=True)
tokenizer.padding_side = 'left'
tokenizer.pad_token_id = tokenizer.eod_id
img_path = ""
question = ""
query = f'<img>{img_path}</img> {question} Answer: ' #VQA
# query = f'<img>{img_path}</img> Generate the detailed caption in English: ' #detailed caption

input_ids = tokenizer(query, return_tensors='pt', padding='longest')
attention_mask = input_ids.attention_mask
input_ids = input_ids.input_ids

pred = model.generate(
            input_ids=input_ids.cuda(),
            attention_mask=attention_mask.cuda(),
            do_sample=False,
            num_beams=1,
            max_new_tokens=512,
            min_new_tokens=1,
            length_penalty=1,
            num_return_sequences=1,
            output_hidden_states=True,
            use_cache=True,
            pad_token_id=tokenizer.eod_id,
            eos_token_id=tokenizer.eod_id,
            )
response = tokenizer.decode(pred[0][input_ids.size(1):].cpu(), skip_special_tokens=True).strip()
print(response)

高度な使用法

デモの実行

2023年11月14日までに、一部のランダムな画像に対して、MonkeyがGPT4Vよりも正確な結果を達成できることを確認しています。また、元のデモのソースコードとモデルの重みを提供しており、特定のパラメータをカスタマイズして、より独自の体験を楽しむことができます。具体的な操作は以下の通りです。

1. 環境を構成していることを確認します。
2. オフラインまたはオンラインでデモを使用することができます。
   • オフライン：
     • モデルの重みをダウンロードします。
     • demo.pyファイル内のDEFAULT_CKPT_PATH="pathto/Monkey"をモデルの重みのパスに変更します。
     • 以下のコマンドを使用してデモを実行します。

     python demo.py
     

   • オンライン：
     • 以下のコマンドを使用して、オンラインでデモを実行し、モデルの重みをダウンロードします。

     python demo.py -c echo840/Monkey 
     

評価

evaluate_vqa.pyファイルには、14の視覚的質問応答（VQA）データセットの評価コードが用意されており、結果をすばやく検証することができます。具体的な操作は以下の通りです。

1. 環境を構成していることを確認します。
2. sys.path.append("pathto/Monkey")をモデルの重みのパスに変更します。
3. 評価に必要なデータセットを準備します。
4. 評価コードを実行します。

ESTVQAを例にとると、以下のようになります。

• 以下のディレクトリ構造に従ってデータを準備します。

├── data
|	├── estvqa
|		├── test_image
|			├── {image_path0}
|			├── {image_path1}
|				  ·
|				  ·
|	├── estvqa.jsonl

• 注釈付きの.jsonlファイルの各行の形式の例：

{"image": "data/estvqa/test_image/011364.jpg", "question": "What is this store?", "answer": "pizzeria", "question_id": 0}

• 辞書ds_collectionsを変更します。

ds_collections = {
	'estvqa_test': {
		'test': 'data/estvqa/estvqa.jsonl',
		'metric': 'anls',
		'max_new_tokens': 100,
	},
	...
}

• 以下のコマンドを実行します。

bash eval/eval.sh 'EVAL_PTH' 'SAVE_NAME'

トレーニング

Monkeyのモデル定義とトレーニングコードも提供しており、finetune_ds_debug.shを実行することでトレーニングコードを実行することができます。

注意：トレーニングデータのパスを指定する必要があります。これは会話のリストからなるJSONファイルである必要があります。

📚 ドキュメント

データセット

多レベル記述生成方法によって生成されたデータをオープンソース化しています。詳細キャプションからダウンロードすることができます。

Monkeyを引用する場合

ここで公開されているベースライン結果を参照する場合は、以下のBibTeXエントリを使用してください。

@article{li2023monkey,
  title={Monkey: Image Resolution and Text Label Are Important Things for Large Multi-modal Models},
  author={Li, Zhang and Yang, Biao and Liu, Qiang and Ma, Zhiyin and Zhang, Shuo and Yang, Jingxu and Sun, Yabo and Liu, Yuliang and Bai, Xiang},
  journal={arXiv preprint arXiv:2311.06607},
  year={2023}
}

もしMonkeyが可愛いと思ったら、スターを付けてください。これは私たちにとって大きな励みになります。

謝辞

Qwen-VL：当社が構築したコードベースです。Qwenの著者たちがフレームワークを提供してくれたことに感謝します。

著作権

Monkeyの改善に役立つ提案を歓迎しています。何か質問があれば、Yuliang Liu博士に連絡してください：ylliu@hust.edu.cn。面白いことを見つけた場合は、メールで共有するか、イシューをオープンしてください。ありがとう！