Mimo 7B RL Zero

license: mit library_name: transformers

━━━━━━━━━━━━━━━━━━━━━━━━━
言語モデルの推論ポテンシャルを解放する
事前学習から事後学習へ
━━━━━━━━━━━━━━━━━━━━━━━━━

このモデルリポジトリはMITライセンスの下で公開されています。

I. はじめに

現在、オープンソース研究を含む成功したRL研究のほとんどは、比較的大きなベースモデル（例：32Bモデル）に依存しており、特にコード推論能力の向上において顕著です。さらに、小規模モデルにおいて数学的能力とコード能力の両方を均一かつ同時に向上させることは困難であると広く考えられていました。しかしながら、我々はRL訓練された推論モデルの有効性は、ベースモデルが本来持つ推論ポテンシャルに依存すると考えています。言語モデルの推論ポテンシャルを完全に解放するためには、事後学習だけでなく、推論に特化した事前学習戦略にも焦点を当てる必要があります。

本論文では、スクラッチから訓練され、推論タスクのために生まれたMiMo-7Bシリーズを紹介します。MiMo-7B-BaseからのRL実験は、我々のモデルが並外れた推論ポテンシャルを持ち、はるかに大きな32Bモデルを凌駕することを示しています。さらに、コールドスタートのSFTモデルに対してRL訓練を実施し、MiMo-7B-RLを作成しました。このモデルは数学とコード推論タスクの両方で優れた性能を発揮し、OpenAI o1-miniと同等の性能を示しています。

我々はMiMo-7Bシリーズをオープンソース化します。これには、ベースモデル、SFTモデル、ベースモデルから訓練されたRLモデル、およびSFTモデルから訓練されたRLモデルのチェックポイントが含まれます。 このレポートとモデルが、強力な推論LLMを開発するための貴重な洞察を提供し、広くコミュニティに貢献することを願っています。

üåü ハイライト

• 事前学習: 推論のために生まれたベースモデル

  • データ前処理パイプラインを最適化し、テキスト抽出ツールキットを強化し、多次元データフィルタリングを適用して事前学習データにおける推論パターンの密度を高めました。また、多様な合成推論データを大量に生成するための複数の戦略を採用しています。
  • 事前学習のために3段階のデータ混合戦略を採用しています。全体として、MiMo-7B-Baseは約25兆トークンで事前学習されています。
  • 追加の訓練目標としてMultiple-Token Predictionを組み込み、モデルの性能を向上させるとともに推論を高速化しています。

• 事後学習レシピ: 推論モデルの先駆け

  • RL訓練データとして13万の数学とコード問題をキュレーションしました。これらはルールベースの検証器で検証可能です。各問題は品質を確保するために注意深くクリーニングされ、難易度評価が行われています。報酬ハッキングの可能性を避けるため、ルールベースの精度報酬のみを採用しています。
  • 難しいコード問題に対するスパースな報酬問題を緩和するため、テスト難易度に基づくコード報酬を導入しました。異なる難易度レベルのテストケースに細かいスコアを割り当てることで、密な報酬信号を通じてポリシーをより効果的に最適化できます。
  • 簡単な問題に対してデータ再サンプリング戦略を実施し、ロールアウトサンプリング効率を向上させ、特にRL訓練の後期段階におけるポリシー更新を安定させています。

• RLインフラストラクチャ

  • RL訓練と検証を加速するためのSeamless Rollout Engineを開発しました。我々の設計は、連続的なロールアウト、非同期報酬計算、早期終了を統合し、GPUのアイドル時間を最小限に抑え、訓練を2.29倍、検証を1.96倍高速化します。
  • vLLMでMTPをサポートし、RLシステムにおける推論エンジンの堅牢性を強化しました。

II. モデル詳細

MiMo-7BのMTP層は、事前学習とSFT中に調整され、RL中は固定されます。投機的デコード用に1つのMTP層を使用した場合、受理率は約90%です。

モデルはhttps://huggingface.co/XiaomiMiMoとhttps://www.modelscope.cn/organization/XiaomiMiMoで利用可能です

III. 評価結果

MiMo-7Bシリーズ

[!IMPORTANT] 評価はtemperature=0.6で実施されています。

AIME24とAIME25は32回の繰り返しの平均スコアです。LiveCodeBench v5 (20240801-20250201)、LiveCodeBench v6 (20250201-20250501)、GPQA-DiamondおよびIF-Evalは8回の繰り返しの平均スコアです。MATH500とSuperGPQAは単一実行です。

IV. デプロイ

SGLang推論

SGLangチームの貢献により、我々は24時間以内にSGLangメインストリームでMiMoをサポートし、MTPも近日中にサポート予定です。

サンプルスクリプト

# 最新のSGlangをmainブランチからインストール
python3 -m uv pip install "sglang[all] @ git+https://github.com/sgl-project/sglang.git/@main#egg=sglang&subdirectory=python"

# SGLangサーバーを起動
python3 -m sglang.launch_server --model-path XiaomiMiMo/MiMo-7B-RL-Zero --host 0.0.0.0 --trust-remote-code

詳細な使用方法はSGLangドキュメントで確認できます。MTPも24時間以内にサポートされる予定です。

vLLM推論

1. [推奨] MiMo-MTPの推論は我々のvLLMフォークを使用して公式にサポートされています。

サンプルスクリプト

from vllm import LLM, SamplingParams

model_path = "/path/to/MiMo"
llm = LLM(
    model=model_path,
    trust_remote_code=True,
    num_speculative_tokens=1,
    disable_log_stats=False
)
sampling_params = SamplingParams(temperature=0.6)

conversation = [
    {
        "role": "system",
        "content": ""
    },
    {
        "role": "user",
        "content": "高等教育の重要性についてのエッセイを書いてください。",
    },
]

outputs = llm.chat(conversation,
                   sampling_params=sampling_params,
                   use_tqdm=False)

for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

print("=" * 80)

2. または、MTPパラメータをロードせずにMiMoのvLLMローダーを登録できます。

registry/register_mimo_in_vllm.pyをディレクトリにコピーし、以下のようにインポートできます。

import register_mimo_in_vllm

from vllm import LLM, SamplingParams

model_path = "/path/to/MiMo"
llm = LLM(
    model=model_path,
    trust_remote_code=True,
    # num_speculative_tokens=1,
    disable_log_stats=False
)
sampling_params = SamplingParams(temperature=0.6)

HuggingFace推論

サンプルスクリプト

from transformers import AutoModel, AutoModelForCausalLM, AutoTokenizer

model_id = "XiaomiMiMo/MiMo-7B-RL-Zero"
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_id)
inputs = tokenizer(["Today is"], return_tensors='pt')
output = model.generate(**inputs, max_new_tokens = 100)
print(tokenizer.decode(output.tolist()[0]))

推奨環境とプロンプト

• vLLM 0.7.3をベースに開発した我々のvLLMフォークの使用を推奨します。
• 空のシステムプロンプトの使用を推奨します。

他の推論エンジンでのMiMoの検証は行っておらず、Huggingfaceリポジトリのモデル定義に基づく貢献を歓迎しますüíª。

V. 引用

@misc{coreteam2025mimounlockingreasoningpotential,
      title={MiMo: 言語モデルの推論ポテンシャルを解放する -- 事前学習から事後学習へ}, 
      author={{Xiaomi LLM-Core Team}},
      year={2025},
      eprint={2505.07608},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2505.07608}, 
}

VI. 連絡先

ご質問がある場合は、mimo@xiaomi.comまでお問い合わせいただくか、イシューを開いてください。