Mimo 7B Base

🚀 MiMo-7B：解锁语言模型推理潜力

MiMo-7B 是一系列从头开始训练、专为推理任务而生的模型。该系列模型在预训练和后训练阶段采用了创新策略，充分挖掘语言模型的推理潜力。实验表明，MiMo-7B 模型在数学和代码推理任务上表现出色，甚至超越了一些更大规模的模型。本项目开源了 MiMo-7B 系列的模型，包括基础模型、SFT 模型、基于基础模型训练的 RL 模型以及基于 SFT 模型训练的 RL 模型，为开发强大的推理大语言模型提供了有价值的参考。

🚀 快速开始

模型下载

你可以从以下平台下载 MiMo-7B 系列模型：

• HuggingFace
• ModelScope

推理部署

SGLang 推理

# 从主分支安装最新的 SGlang
python3 -m uv pip install "sglang[all] @ git+https://github.com/sgl-project/sglang.git/@main#egg=sglang&subdirectory=python"

# 启动 SGLang 服务器
python3 -m sglang.launch_server --model-path XiaomiMiMo/MiMo-7B-Base --host 0.0.0.0 --trust-remote-code

详细使用方法可参考 SGLang 文档，MTP 功能也将在 24 小时内支持。

vLLM 推理

推荐方式：使用 我们的 vLLM 分支 进行推理。

from vllm import LLM, SamplingParams

model_path = "/path/to/MiMo"
llm = LLM(
    model=model_path,
    trust_remote_code=True,
    num_speculative_tokens=1,
    disable_log_stats=False
)
sampling_params = SamplingParams(temperature=0.6)

conversation = [
    {
        "role": "system",
        "content": ""
    },
    {
        "role": "user",
        "content": "Write an essay about the importance of higher education.",
    },
]

outputs = llm.chat(conversation,
                   sampling_params=sampling_params,
                   use_tqdm=False)

for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

print("=" * 80)

或者，你可以在不加载 MTP 参数的情况下为 MiMo 注册 vLLM 加载器。

import register_mimo_in_vllm

from vllm import LLM, SamplingParams

model_path = "/path/to/MiMo"
llm = LLM(
    model=model_path,
    trust_remote_code=True,
    # num_speculative_tokens=1,
    disable_log_stats=False
)
sampling_params = SamplingParams(temperature=0.6)

HuggingFace 推理

from transformers import AutoModel, AutoModelForCausalLM, AutoTokenizer

model_id = "XiaomiMiMo/MiMo-7B-Base"
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_id)
inputs = tokenizer(["Today is"], return_tensors='pt')
output = model.generate(**inputs, max_new_tokens = 100)
print(tokenizer.decode(output.tolist()[0]))

推荐环境和提示

• 推荐使用 我们基于 vLLM 0.7.3 开发的分支。
• 推荐使用空的系统提示。

✨ 主要特性

预训练：为推理而生的基础模型

• 优化数据预处理流程：增强文本提取工具包，应用多维数据过滤，提高预训练数据中推理模式的密度。同时，采用多种策略生成大量多样化的合成推理数据。
• 三阶段数据混合策略：预训练阶段采用三阶段数据混合策略，MiMo-7B-Base 大约在 25 万亿个标记上进行预训练。
• 引入多标记预测目标：将多标记预测（Multiple-Token Prediction）作为额外的训练目标，提升模型性能并加速推理。

后训练策略：开创性的推理模型

• 精心策划训练数据：精心挑选 130K 个数学和代码问题作为 RL 训练数据，这些问题可由基于规则的验证器进行验证。每个问题都经过仔细清理和难度评估，以确保数据质量。仅使用基于规则的准确性奖励，避免潜在的奖励破解问题。
• 引入测试难度驱动的代码奖励：为缓解具有挑战性的代码问题的稀疏奖励问题，引入测试难度驱动的代码奖励。通过为不同难度级别的测试用例分配细粒度分数，可通过密集奖励信号更有效地优化策略。
• 实施数据重采样策略：对简单问题实施数据重采样策略，提高滚动采样效率并稳定策略更新，特别是在 RL 训练的后期阶段。

RL 基础设施

• 开发无缝滚动引擎：开发无缝滚动引擎（Seamless Rollout Engine）以加速 RL 训练和验证。该设计集成了连续滚动、异步奖励计算和提前终止功能，最大限度减少 GPU 空闲时间，实现训练速度提升 2.29 倍，验证速度提升 1.96 倍。
• 支持 MTP 并增强推理引擎鲁棒性：在 vLLM 中支持 MTP，并增强 RL 系统中推理引擎的鲁棒性。

📦 安装指南

SGLang 推理安装

python3 -m uv pip install "sglang[all] @ git+https://github.com/sgl-project/sglang.git/@main#egg=sglang&subdirectory=python"

💻 使用示例

基础用法

SGLang 推理

python3 -m sglang.launch_server --model-path XiaomiMiMo/MiMo-7B-Base --host 0.0.0.0 --trust-remote-code

vLLM 推理

from vllm import LLM, SamplingParams

model_path = "/path/to/MiMo"
llm = LLM(
    model=model_path,
    trust_remote_code=True,
    num_speculative_tokens=1,
    disable_log_stats=False
)
sampling_params = SamplingParams(temperature=0.6)

conversation = [
    {
        "role": "system",
        "content": ""
    },
    {
        "role": "user",
        "content": "Write an essay about the importance of higher education.",
    },
]

outputs = llm.chat(conversation,
                   sampling_params=sampling_params,
                   use_tqdm=False)

for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

print("=" * 80)

HuggingFace 推理

from transformers import AutoModel, AutoModelForCausalLM, AutoTokenizer

model_id = "XiaomiMiMo/MiMo-7B-Base"
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_id)
inputs = tokenizer(["Today is"], return_tensors='pt')
output = model.generate(**inputs, max_new_tokens = 100)
print(tokenizer.decode(output.tolist()[0]))

📚 详细文档

模型详情

MiMo-7B 的 MTP 层在预训练和 SFT 阶段进行调整，在 RL 阶段冻结。使用一个 MTP 层进行推测解码时，接受率约为 90%。

评估结果

综合评估

数学评估

代码评估

MiMo-7B 系列评估

评估说明

• 评估使用 temperature=0.6 进行。
• AIME24 和 AIME25 的评估结果是 32 次重复的平均得分。LiveCodeBench v5（20240801 - 20250201）、LiveCodeBench v6（20250201 - 20250501）、GPQA-Diamond 和 IF-Eval 的评估结果是 8 次重复的平均得分。MATH500 和 SuperGPQA 进行单次运行评估。

🔧 技术细节

预训练阶段

• 数据处理：通过优化数据预处理流程，提高推理模式在预训练数据中的密度。采用多维数据过滤和多种数据生成策略，确保数据的多样性和质量。
• 训练目标：引入多标记预测（Multiple-Token Prediction）作为额外的训练目标，提升模型的推理能力和推理速度。

后训练阶段

• 训练数据：精心挑选数学和代码问题作为 RL 训练数据，确保数据的可验证性和质量。
• 奖励机制：采用基于规则的准确性奖励，避免奖励破解问题。同时，引入测试难度驱动的代码奖励，解决稀疏奖励问题。
• 数据策略：对简单问题实施数据重采样策略，提高训练效率和稳定性。

RL 基础设施

• 无缝滚动引擎：无缝滚动引擎集成了连续滚动、异步奖励计算和提前终止功能，减少 GPU 空闲时间，加速训练和验证过程。
• 推理引擎：在 vLLM 中支持 MTP，并增强推理引擎的鲁棒性，确保模型在实际应用中的稳定性。

📄 许可证

本模型仓库遵循 MIT 许可证。

🔍 引用

@misc{coreteam2025mimounlockingreasoningpotential,
      title={MiMo: Unlocking the Reasoning Potential of Language Model -- From Pretraining to Posttraining}, 
      author={{Xiaomi LLM-Core Team}},
      year={2025},
      eprint={2505.07608},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2505.07608}, 
}

📞 联系我们

如果您有任何问题，请通过 mimo@xiaomi.com 联系我们，或在项目中提交 issue。

⚠️ 重要提示

评估是在 temperature=0.6 的条件下进行的。AIME24 和 AIME25 的评估结果是 32 次重复的平均得分。LiveCodeBench v5（20240801 - 20250201）、LiveCodeBench v6（20250201 - 20250501）、GPQA-Diamond 和 IF-Eval 的评估结果是 8 次重复的平均得分。MATH500 和 SuperGPQA 进行单次运行评估。

💡 使用建议

• 推荐使用 我们基于 vLLM 0.7.3 开发的分支 进行推理。
• 推荐使用空的系统提示。
• 我们尚未使用其他推理引擎对 MiMo 进行验证，欢迎基于 Huggingface 仓库中的模型定义进行贡献。