MMR1 Math V0 7B

🚀 MMR1：推進多模態推理的前沿

MMR1是一個專注於多模態推理的項目，其推出的MMR1 - Math - v0模型在數學多模態任務上表現出色，僅用6k數據就達到了SOTA水平，為多模態推理領域帶來了新的突破。

🚀 快速開始

from transformers import Qwen2_5_VLForConditionalGeneration, AutoTokenizer, AutoProcessor
from qwen_vl_utils import process_vision_info
# default: Load the model on the available device(s)
model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    "MMR1/MMR1-Math-v0-7B", 
    torch_dtype=torch.bfloat16,
    attn_implementation="flash_attention_2",
    device_map="auto",
)
# default processer
processor = AutoProcessor.from_pretrained("MMR1/MMR1-Math-v0-7B")
# Example input
messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "path/to/image.jpeg",
            },
            {"type": "text", "text": "Describe this image."},
        ],
    }
]
# Preparation for inference
text = processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(
    text=[text],
    images=image_inputs,
    videos=video_inputs,
    padding=True,
    return_tensors="pt",
)
inputs = inputs.to("cuda")
# Inference: Generation of the output
generated_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids_trimmed = [
    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_text = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)

# Sample messages for batch inference
messages1 = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "file:///path/to/image1.jpg"},
            {"type": "image", "image": "file:///path/to/image2.jpg"},
            {"type": "text", "text": "What are the common elements in these pictures?"},
        ],
    }
]
messages2 = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Who are you?"},
]
# Combine messages for batch processing
messages = [messages1, messages2]
# Preparation for batch inference
texts = [
    processor.apply_chat_template(msg, tokenize=False, add_generation_prompt=True)
    for msg in messages
]
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(
    text=texts,
    images=image_inputs,
    videos=video_inputs,
    padding=True,
    return_tensors="pt",
)
inputs = inputs.to("cuda")
# Batch Inference
generated_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids_trimmed = [
    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_texts = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_texts)

✨ 主要特性

模型亮點

• SOTA性能：在開源7B模型的數學相關多模態任務中，樹立了新的最優基準。
• 少量訓練數據：僅使用來自公共訓練數據集的6k高質量樣本，就取得了頂級性能。
• GRPO高效訓練：使用64個H100進行6小時的強化學習訓練，共15個epoch。
• 公開且高質量的數據：數據來源於公開數據集，經過嚴格篩選，在難度和數學問題類型上保持平衡。
• 平衡的數據策略：基於任務難度（過濾過於簡單的問題）和數學推理多樣性進行均勻的數據採樣。

📚 詳細文檔

📰 新聞

• [2025.03.11] 🔥🔥 發佈MMR1 - Math - v0，僅用6k數據就達到了SOTA水平！

鏈接

• 代碼：https://github.com/LengSicong/MMR1
• 該模型在論文 LMM - R1: Empowering 3B LMMs with Strong Reasoning Abilities Through Two - Stage Rule - Based RL 中展示，代碼可在 https://github.com/LengSicong/MMR1 找到。

模型描述

MMR1 - Math - v0 - 7B是一個專門用於數學任務的大型多模態模型。值得注意的是，MMR1 - Math - v0 - 7B在開源7B多模態模型中達到了最優性能，即使與參數規模大得多的專有模型競爭也不落下風，而這一切僅通過精心策劃的6k數據實例訓練而成。

評估結果

我們使用 VLMEvalKit 在四個數學推理基準測試上評估了我們的模型：MathVista_MINI、MathVision、LogicVista和MathVerse_MINI。

我們還包含了MathVerse_MINI_Vision_Only_cot (MathVerse_V) 子集的結果，以與VLMEvalKit排行榜保持一致。下表將我們模型的性能與各種開源和專有模型進行了比較。

📄 許可證

本項目採用apache - 2.0許可證。

📚 引用

如果您發現MMR1對您的研究和應用有用，請使用以下BibTeX進行引用：

@misc{MMR1-Math2025,
  title={MMR1: Advancing the Frontiers of Multimodal Reasoning},
  author={Sicong Leng*, Jing Wang*, Jiaxi Li*, Hao Zhang*, Zhiqiang Hu, Boqiang Zhang, Hang Zhang, Yuming Jiang, Xin Li, Fan Wang, Yu Rong, Aixin Sun†, Shijian Lu†},
  year={2025},
  howpublished={\url{https://github.com/LengSicong/MMR1}},
}

MMR1: 推進多模態推理的前沿

如果您喜歡我們的項目，請在 Github 上給我們一個星星 ⭐ 以支持我們。 🙏🙏