Monkey Chat

🚀 Monkey：图像分辨率和文本标签对大型多模态模型至关重要

Monkey 带来了一种训练高效的方法，无需从头开始预训练，即可有效将输入分辨率能力提升至 896 x 1344 像素。为了弥合简单文本标签与高输入分辨率之间的差距，我们提出了一种多级描述生成方法，该方法可自动提供丰富信息，引导模型学习场景与对象之间的上下文关联。通过这两种设计的协同作用，我们的模型在多个基准测试中取得了优异成绩。通过将我们的模型与包括 GPT4V 在内的各种大型多模态模型（LMMs）进行比较，我们的模型在图像描述任务中表现出色，能够关注文本信息并捕捉图像中的精细细节；其提高的输入分辨率也使其在包含密集文本的文档图像中表现卓越。

论文   |   详细描述数据集   |   模型权重   | Wisemodel 中的模型权重  

✨ 主要特性

• 上下文关联：在回答问题时，我们的方法能够更有效地推断目标之间的关系，从而提供更全面、更有深度的结果。
• 支持高达 1344 x 896 的分辨率：超越了大型多模态模型通常采用的标准 448 x 448 分辨率，这一显著的分辨率提升增强了对不易察觉或紧密聚集的对象以及密集文本的识别和理解能力。
• 增强的综合性能：我们在 16 个不同的数据集上进行了测试，Monkey 模型在图像描述、通用视觉问答、以文本为中心的视觉问答和面向文档的视觉问答等任务中表现出色。

📦 安装指南

conda create -n monkey python=3.9
conda activate monkey
git clone https://github.com/Yuliang-Liu/Monkey.git
cd ./Monkey
pip install -r requirements.txt

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer
checkpoint = "echo840/Monkey-Chat"
model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map='cuda', trust_remote_code=True).eval()
tokenizer = AutoTokenizer.from_pretrained(checkpoint, trust_remote_code=True)
tokenizer.padding_side = 'left'
tokenizer.pad_token_id = tokenizer.eod_id
img_path = ""
question = ""

# Monkey-Chat 在视觉问答和详细描述任务中使用相同的提示格式。
query = f'<img>{img_path}</img> {question} Answer: '

input_ids = tokenizer(query, return_tensors='pt', padding='longest')
attention_mask = input_ids.attention_mask
input_ids = input_ids.input_ids

pred = model.generate(
            input_ids=input_ids.cuda(),
            attention_mask=attention_mask.cuda(),
            do_sample=False,
            num_beams=1,
            max_new_tokens=512,
            min_new_tokens=1,
            length_penalty=1,
            num_return_sequences=1,
            output_hidden_states=True,
            use_cache=True,
            pad_token_id=tokenizer.eod_id,
            eos_token_id=tokenizer.eod_id,
            )
response = tokenizer.decode(pred[0][input_ids.size(1):].cpu(), skip_special_tokens=True).strip()
print(response)

高级用法

演示使用

在 2023 年 11 月 14 日之前，我们观察到对于一些随机图片，Monkey 比 GPT4V 能取得更准确的结果。

我们还提供了原始演示的源代码和模型权重，允许你自定义某些参数以获得更独特的体验。具体操作如下：

1. 确保你已经配置了环境。
2. 你可以选择离线或在线使用演示：
   • 离线使用：
     • 下载模型权重。
     • 将 demo.py 文件中的 DEFAULT_CKPT_PATH="pathto/Monkey" 修改为你的模型权重路径。
     • 运行以下命令启动演示：

python demo.py

- **在线使用**：
    - 运行以下命令在线下载模型权重并启动演示：

python demo.py -c echo840/Monkey 

数据集使用

我们已经开源了多级描述生成方法生成的数据，你可以在详细描述数据集下载。

评估模型

我们在 evaluate_vqa.py 文件中提供了 14 个视觉问答（VQA）数据集的评估代码，方便你快速验证结果。具体操作如下：

1. 确保你已经配置了环境。
2. 将 sys.path.append("pathto/Monkey") 修改为你的模型权重路径。
3. 准备评估所需的数据集。
4. 运行评估代码。

以 ESTVQA 数据集为例：

• 按照以下目录结构准备数据：

├── data
|   ├── estvqa
|       ├── test_image
|           ├── {image_path0}
|           ├── {image_path1}
|                 ·
|                 ·
|   ├── estvqa.jsonl

• 标注的 .jsonl 文件每行的格式示例：

{"image": "data/estvqa/test_image/011364.jpg", "question": "What is this store?", "answer": "pizzeria", "question_id": 0}

• 修改字典 ds_collections：

ds_collections = {
    'estvqa_test': {
        'test': 'data/estvqa/estvqa.jsonl',
        'metric': 'anls',
      'max_new_tokens': 100,
    },
    ...
}

• 运行以下命令：

bash eval/eval.sh 'EVAL_PTH' 'SAVE_NAME'

模型训练

我们还提供了 Monkey 的模型定义和训练代码，你可以在上述内容中查看。你可以通过执行 finetune_ds_debug.sh 来运行训练代码。

注意：指定你的训练数据路径，该数据应为一个由对话列表组成的 json 文件。

📚 详细文档

引用 Monkey

如果你希望引用此处发布的基线结果，请使用以下 BibTeX 条目：

@article{li2023monkey,
  title={Monkey: Image Resolution and Text Label Are Important Things for Large Multi-modal Models},
  author={Li, Zhang and Yang, Biao and Liu, Qiang and Ma, Zhiyin and Zhang, Shuo and Yang, Jingxu and Sun, Yabo and Liu, Yuliang and Bai, Xiang},
  journal={arXiv preprint arXiv:2311.06607},
  year={2023}
}

如果你觉得 Monkey 很可爱，请给我们点个星，这将是对我们极大的鼓励。

致谢

Qwen-VL：我们基于此代码库进行开发。感谢 Qwen 的作者提供的框架。

版权说明

我们欢迎大家提出建议，帮助我们改进 Monkey。如有任何疑问，请联系刘育良博士：ylliu@hust.edu.cn。如果你发现了有趣的内容，也请随时通过电子邮件与我们分享，或者在仓库中提出问题。感谢大家！