Mimo 7B RL 0530

🚀 小米MiMo

MiMo-7Bは、推論タスクに特化して開発された一連のモデルです。このモデルは、事前学習と事後学習の両面で独自のアプローチを採用し、数学やコードの推論タスクで優れた性能を発揮します。また、MiMo-7Bシリーズのモデルはオープンソースで公開されており、研究者や開発者に有益な情報を提供します。

━━━━━━━━━━━━━━━━━━━━━━━━━
言語モデルの推論潜在能力を引き出す
事前学習から事後学習まで
━━━━━━━━━━━━━━━━━━━━━━━━━

✨ 主な更新情報

[2025.05.30] RLトレーニング中に、トレーニングウィンドウサイズを継続的に拡大（32Kから48K）することで、MiMo-7B-RL-0530のAIME24での性能を継続的に向上させ、最終的にDeepSeek R1を上回ることができました。

📚 概要

現在、多くの成功したRL研究（オープンソースを含む）は、比較的大規模なベースモデル（例えば32Bモデル）に依存しており、特にコード推論能力の向上において顕著です。また、小規模モデルで数学とコードの両方の能力を均一かつ同時に向上させることは困難と考えられていました。しかし、我々はRLで学習した推論モデルの有効性は、ベースモデルの本来の推論潜在能力に依存すると考えています。言語モデルの推論潜在能力を最大限に引き出すためには、事後学習だけでなく、推論に特化した事前学習戦略にも焦点を当てる必要があります。

この研究では、推論タスクに特化してゼロから学習されたMiMo-7Bシリーズのモデルを提案します。MiMo-7B-BaseからのRL実験により、我々のモデルは非常に高い推論潜在能力を持ち、32Bモデルを上回る性能を発揮することがわかりました。また、冷スタートしたSFTモデルに対してRLトレーニングを行い、MiMo-7B-RLを作成しました。このモデルは、数学とコードの推論タスクの両方で優れた性能を示し、OpenAI o1-miniと同等の性能を発揮します。

我々は、MiMo-7Bシリーズをオープンソースで公開しています。これには、ベースモデル、SFTモデル、ベースモデルから学習したRLモデル、およびSFTモデルから学習したRLモデルのチェックポイントが含まれます。我々は、このレポートとモデルが、強力な推論LLMを開発するための貴重な洞察を提供することを信じています。

⭐ 主な特徴

• 事前学習：推論に特化したベースモデル

  • データ前処理パイプラインを最適化し、テキスト抽出ツールキットを強化し、多次元データフィルタリングを適用して、事前学習データの推論パターン密度を高めます。また、複数の戦略を用いて大量の多様な合成推論データを生成します。
  • 事前学習には三段階のデータ混合戦略を採用しています。全体として、MiMo-7B-Baseは約25兆トークンで事前学習されています。
  • 追加の学習目的としてMultiple-Token Predictionを導入することで、モデルの性能を向上させ、推論を高速化します。

• 事後学習レシピ：革新的な推論モデル

  • 13万件の数学とコードの問題をRLトレーニングデータとして収集し、ルールベースの検証器で検証可能なデータを使用します。各問題は慎重にクリーニングされ、難易度が評価されて品質が保証されています。潜在的な報酬ハッキングを避けるために、ルールベースの正確性報酬のみを使用します。
  • 難しいコード問題に対する疎な報酬の問題を軽減するために、テスト難易度に基づくコード報酬を導入します。異なる難易度のテストケースに細かいスコアを割り当てることで、密な報酬信号を通じてポリシーをより効果的に最適化することができます。
  • 簡単な問題に対してデータ再サンプリング戦略を実装することで、ロールアウトサンプリングの効率を向上させ、特にRLトレーニングの後期におけるポリシー更新を安定させます。

• RLインフラストラクチャ

  • RLトレーニングと検証を高速化するためのSeamless Rollout Engineを開発しました。我々の設計は、連続的なロールアウト、非同期の報酬計算、および早期終了を統合してGPUのアイドル時間を最小限に抑え、トレーニングを2.29倍、検証を1.96倍高速化します。
  • vLLMでMTPをサポートし、RLシステムにおける推論エンジンのロバスト性を向上させます。

📦 モデル詳細

MiMo-7BのMTPレイヤーは、事前学習とSFT中に調整され、RL中は固定されます。投機的デコードに1つのMTPレイヤーを使用すると、受容率は約90％になります。

モデルはHuggingface Collections: MiMo と ModelScope Collections: MiMo で入手できます。

📊 評価結果

MiMo-7Bシリーズ

⚠️ 重要提示

評価は temperature=0.6 で行われています。

AIME24とAIME25は32回の平均スコア、LiveCodeBench v5 (20240801 - 20250201)、LiveCodeBench v6 (20250201 - 20250501)、GPQA-Diamond、IF-Evalは8回の平均スコア、MATH500とSuperGPQAは1回の実行結果です。

💻 デプロイメント

SGLang推論

SGLangチームからの貢献により、24時間以内にSGLangのメインストリームでMiMoをサポートし、近々MTPもサポート予定です。

サンプルスクリプト

# 最新のSGlangをメインブランチからインストール
python3 -m uv pip install "sglang[all] @ git+https://github.com/sgl-project/sglang.git/@main#egg=sglang&subdirectory=python"

# SGLangサーバーを起動
python3 -m sglang.launch_server --model-path XiaomiMiMo/MiMo-7B-RL --host 0.0.0.0 --trust-remote-code

詳細な使用方法は SGLangドキュメント を参照してください。MTPも24時間以内にサポートされます。

vLLM推論

1. [推奨] 我々のフォークしたvLLM を使用してMiMo-MTPでの推論を公式にサポートしています。

サンプルスクリプト

from vllm import LLM, SamplingParams

model_path = "/path/to/MiMo"
llm = LLM(
    model=model_path,
    trust_remote_code=True,
    num_speculative_tokens=1,
    disable_log_stats=False
)
sampling_params = SamplingParams(temperature=0.6)

conversation = [
    {
        "role": "system",
        "content": ""
    },
    {
        "role": "user",
        "content": "Write an essay about the importance of higher education.",
    },
]

outputs = llm.chat(conversation,
                   sampling_params=sampling_params,
                   use_tqdm=False)

for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

print("=" * 80)

2. または、MTPパラメータをロードせずにMiMo用のvLLMローダーを登録することもできます。

registry/register_mimo_in_vllm.py をディレクトリにコピーし、以下のようにインポートします。

import register_mimo_in_vllm

from vllm import LLM, SamplingParams

model_path = "/path/to/MiMo"
llm = LLM(
    model=model_path,
    trust_remote_code=True,
    # num_speculative_tokens=1,
    disable_log_stats=False
)
sampling_params = SamplingParams(temperature=0.6)

HuggingFace推論

サンプルスクリプト

from transformers import AutoModel, AutoModelForCausalLM, AutoTokenizer

model_id = "XiaomiMiMo/MiMo-7B-RL-0530"
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_id)
inputs = tokenizer(["Today is"], return_tensors='pt')
output = model.generate(**inputs, max_new_tokens = 100)
print(tokenizer.decode(output.tolist()[0]))

推奨環境とプロンプト

• 我々のフォークしたvLLM を使用することを推奨します。これはvLLM 0.7.3をベースに開発されています。
• 空のシステムプロンプトを使用することを推奨します。

我々は他の推論エンジンでMiMoを検証していません。Huggingfaceリポジトリのモデル定義に基づく貢献を歓迎します。

📖 引用

@misc{coreteam2025mimounlockingreasoningpotential,
      title={MiMo: Unlocking the Reasoning Potential of Language Model -- From Pretraining to Posttraining}, 
      author={{Xiaomi LLM-Core Team}},
      year={2025},
      eprint={2505.07608},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2505.07608}, 
}

📞 コンタクト

質問がある場合は、mimo@xiaomi.com までご連絡ください。または、GitHubのイシューを開いても構いません。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。