MMR1 Math V0 7B

🚀 MMR1：推进多模态推理的前沿

MMR1是一个专注于多模态推理的项目，其推出的MMR1 - Math - v0模型在数学多模态任务上表现出色，仅用6k数据就达到了SOTA水平，为多模态推理领域带来了新的突破。

🚀 快速开始

from transformers import Qwen2_5_VLForConditionalGeneration, AutoTokenizer, AutoProcessor
from qwen_vl_utils import process_vision_info
# default: Load the model on the available device(s)
model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    "MMR1/MMR1-Math-v0-7B", 
    torch_dtype=torch.bfloat16,
    attn_implementation="flash_attention_2",
    device_map="auto",
)
# default processer
processor = AutoProcessor.from_pretrained("MMR1/MMR1-Math-v0-7B")
# Example input
messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "path/to/image.jpeg",
            },
            {"type": "text", "text": "Describe this image."},
        ],
    }
]
# Preparation for inference
text = processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(
    text=[text],
    images=image_inputs,
    videos=video_inputs,
    padding=True,
    return_tensors="pt",
)
inputs = inputs.to("cuda")
# Inference: Generation of the output
generated_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids_trimmed = [
    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_text = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)

# Sample messages for batch inference
messages1 = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "file:///path/to/image1.jpg"},
            {"type": "image", "image": "file:///path/to/image2.jpg"},
            {"type": "text", "text": "What are the common elements in these pictures?"},
        ],
    }
]
messages2 = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Who are you?"},
]
# Combine messages for batch processing
messages = [messages1, messages2]
# Preparation for batch inference
texts = [
    processor.apply_chat_template(msg, tokenize=False, add_generation_prompt=True)
    for msg in messages
]
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(
    text=texts,
    images=image_inputs,
    videos=video_inputs,
    padding=True,
    return_tensors="pt",
)
inputs = inputs.to("cuda")
# Batch Inference
generated_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids_trimmed = [
    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_texts = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_texts)

✨ 主要特性

模型亮点

• SOTA性能：在开源7B模型的数学相关多模态任务中，树立了新的最优基准。
• 少量训练数据：仅使用来自公共训练数据集的6k高质量样本，就取得了顶级性能。
• GRPO高效训练：使用64个H100进行6小时的强化学习训练，共15个epoch。
• 公开且高质量的数据：数据来源于公开数据集，经过严格筛选，在难度和数学问题类型上保持平衡。
• 平衡的数据策略：基于任务难度（过滤过于简单的问题）和数学推理多样性进行均匀的数据采样。

📚 详细文档

📰 新闻

• [2025.03.11] 🔥🔥 发布MMR1 - Math - v0，仅用6k数据就达到了SOTA水平！

链接

• 代码：https://github.com/LengSicong/MMR1
• 该模型在论文 LMM - R1: Empowering 3B LMMs with Strong Reasoning Abilities Through Two - Stage Rule - Based RL 中展示，代码可在 https://github.com/LengSicong/MMR1 找到。

模型描述

MMR1 - Math - v0 - 7B是一个专门用于数学任务的大型多模态模型。值得注意的是，MMR1 - Math - v0 - 7B在开源7B多模态模型中达到了最优性能，即使与参数规模大得多的专有模型竞争也不落下风，而这一切仅通过精心策划的6k数据实例训练而成。

评估结果

我们使用 VLMEvalKit 在四个数学推理基准测试上评估了我们的模型：MathVista_MINI、MathVision、LogicVista和MathVerse_MINI。

我们还包含了MathVerse_MINI_Vision_Only_cot (MathVerse_V) 子集的结果，以与VLMEvalKit排行榜保持一致。下表将我们模型的性能与各种开源和专有模型进行了比较。

📄 许可证

本项目采用apache - 2.0许可证。

📚 引用

如果您发现MMR1对您的研究和应用有用，请使用以下BibTeX进行引用：

@misc{MMR1-Math2025,
  title={MMR1: Advancing the Frontiers of Multimodal Reasoning},
  author={Sicong Leng*, Jing Wang*, Jiaxi Li*, Hao Zhang*, Zhiqiang Hu, Boqiang Zhang, Hang Zhang, Yuming Jiang, Xin Li, Fan Wang, Yu Rong, Aixin Sun†, Shijian Lu†},
  year={2025},
  howpublished={\url{https://github.com/LengSicong/MMR1}},
}

MMR1: 推进多模态推理的前沿

如果您喜欢我们的项目，请在 Github 上给我们一个星星 ⭐ 以支持我们。 🙏🙏