Mimo 7B RL

license: mit library_name: transformers

★★★★★★★★★★★★★★★★★★★★★★★
言語モデルの推論ポテンシャルを解放する
事前学習から事後学習まで
★★★★★★★★★★★★★★★★★★★★★★★

このモデルリポジトリはMITライセンスの下で公開されています。

I. はじめに

現在、オープンソース研究を含む成功したRL研究のほとんどは、比較的大きなベースモデル（例：32Bモデル）に依存しており、特にコード推論能力の向上において顕著です。さらに、小規模モデルにおいて数学的能力とコード能力の両方を均一かつ同時に向上させることは困難であると広く考えられていました。しかしながら、私たちはRLで訓練された推論モデルの有効性は、ベースモデルが本来持つ推論ポテンシャルに依存すると考えています。言語モデルの推論ポテンシャルを完全に解放するためには、事後学習だけでなく、推論に特化した事前学習戦略にも焦点を当てる必要があります。

本稿では、スクラッチから訓練され、推論タスクのために生まれたMiMo-7Bシリーズを紹介します。MiMo-7B-BaseからのRL実験により、私たちのモデルが非常に優れた推論ポテンシャルを持ち、はるかに大きな32Bモデルを凌駕することさえあることが示されました。さらに、コールドスタートのSFTモデルに対してRL訓練を行い、MiMo-7B-RLを作成しました。このモデルは数学とコードの推論タスクの両方で優れた性能を示し、OpenAI o1-miniと同等の性能を発揮します。

私たちはMiMo-7Bシリーズをオープンソース化し、ベースモデル、SFTモデル、ベースモデルから訓練したRLモデル、およびSFTモデルから訓練したRLモデルのチェックポイントを含めています。このレポートとモデルが、より強力な推論LLMを開発するための貴重な洞察を提供し、広範なコミュニティに利益をもたらすことを願っています。

üåü ハイライト

• 事前学習: 推論のために生まれたベースモデル

  • データ前処理パイプラインを最適化し、テキスト抽出ツールキットを強化し、多次元データフィルタリングを適用して事前学習データ中の推論パターンの密度を高めました。また、多様な合成推論データを大量に生成するための複数の戦略を採用しました。
  • 事前学習のために3段階のデータ混合戦略を採用しました。全体として、MiMo-7B-Baseは約25兆トークンで事前学習されています。
  • 追加の訓練目標としてMultiple-Token Predictionを組み込み、モデルの性能を向上させるとともに推論を加速させました。

• 事後学習レシピ: 先駆的な推論モデル

  • RL訓練データとして13万件の数学とコードの問題をキュレーションしました。これらはルールベースの検証器で検証可能です。各問題は品質を確保するために慎重にクリーニングされ、難易度評価が行われました。報酬ハッキングの可能性を避けるため、ルールベースの精度報酬のみを採用しました。
  • 難しいコード問題に対するスパースな報酬問題を緩和するため、テスト難易度に基づくコード報酬を導入しました。異なる難易度レベルのテストケースに細かいスコアを割り当てることで、密集した報酬信号を通じてポリシーをより効果的に最適化できます。
  • RL訓練の後半フェーズにおいて特に、ロールアウトサンプリング効率を高め、ポリシー更新を安定させるために、簡単な問題に対するデータ再サンプリング戦略を実装しました。

• RLインフラストラクチャ

  • RL訓練と検証を加速するためのシームレスなロールアウトエンジンを開発しました。私たちの設計は、連続的なロールアウト、非同期報酬計算、早期終了を統合し、GPUのアイドル時間を最小限に抑え、訓練を2.29倍、検証を1.96倍高速化しました。
  • vLLMでMTPをサポートし、RLシステムにおける推論エンジンの堅牢性を強化しました。

II. モデル詳細

MiMo-7BのMTP層は事前学習とSFT中に調整され、RL中は固定されます。投機的デコード用に1つのMTP層を使用すると、受入率は約90%です。

モデルはhttps://huggingface.co/XiaomiMiMoとhttps://www.modelscope.cn/organization/XiaomiMiMoで利用可能です

III. 評価結果

MiMo-7Bシリーズ

[!重要] 評価はtemperature=0.6で実施されました。

AIME24とAIME25は32回の繰り返しの平均スコアです。LiveCodeBench v5 (20240801-20250201)、LiveCodeBench v6 (20250201-20250501)、GPQA-DiamondおよびIF-Evalは8回の繰り返しの平均スコアです。MATH500とSuperGPQAは単一実行です。

IV. デプロイ

SGLang推論

SGLangチームの貢献により、24時間以内にMiMoをSGLangメインストリームでサポートし、MTPも近日中にサポート予定です。

サンプルスクリプト

# 最新のSGlangをmainブランチからインストール
python3 -m uv pip install "sglang[all] @ git+https://github.com/sgl-project/sglang.git/@main#egg=sglang&subdirectory=python"

# SGLangサーバー起動
python3 -m sglang.launch_server --model-path XiaomiMiMo/MiMo-7B-RL --host 0.0.0.0 --trust-remote-code

詳細な使用方法はSGLangドキュメントで確認できます。MTPも24時間以内にサポートされる予定です。

vLLM推論

1. [推奨] 私たちのvLLMフォークを使用してMiMo-MTPの推論を公式にサポートしています。

サンプルスクリプト

from vllm import LLM, SamplingParams

model_path = "/path/to/MiMo"
llm = LLM(
    model=model_path,
    trust_remote_code=True,
    num_speculative_tokens=1,
    disable_log_stats=False
)
sampling_params = SamplingParams(temperature=0.6)

conversation = [
    {
        "role": "system",
        "content": ""
    },
    {
        "role": "user",
        "content": "高等教育の重要性についてのエッセイを書いてください。",
    },
]

outputs = llm.chat(conversation,
                   sampling_params=sampling_params,
                   use_tqdm=False)

for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"プロンプト: {prompt!r}, 生成テキスト: {generated_text!r}")

print("=" * 80)

2. または、MTPパラメータをロードせずにvLLMローダーをMiMo用に登録できます。

registry/register_mimo_in_vllm.pyをあなたのディレクトリにコピーし、以下のようにインポートできます。

import register_mimo_in_vllm

from vllm import LLM, SamplingParams

model_path = "/path/to/MiMo"
llm = LLM(
    model=model_path,
    trust_remote_code=True,
    # num_speculative_tokens=1,
    disable_log_stats=False
)
sampling_params = SamplingParams(temperature=0.6)

HuggingFace推論

サンプルスクリプト

from transformers import AutoModel, AutoModelForCausalLM, AutoTokenizer

model_id = "XiaomiMiMo/MiMo-7B-RL"
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_id)
inputs = tokenizer(["今日は"], return_tensors='pt')
output = model.generate(**inputs, max_new_tokens = 100)
print(tokenizer.decode(output.tolist()[0]))

推奨環境とプロンプト

• 私たちのvLLMフォークの使用を推奨します。これはvLLM 0.7.3を基に開発されています。
• 空のシステムプロンプトの使用を推奨します。

他の推論エンジンでのMiMoの検証は行っておらず、Huggingfaceリポジトリのモデル定義に基づく貢献を歓迎しますüíª。

V. 引用

@misc{coreteam2025mimounlockingreasoningpotential,
      title={MiMo: 言語モデルの推論ポテンシャルを解放する -- 事前学習から事後学習まで}, 
      author={{Xiaomi LLM-Core Team}},
      year={2025},
      eprint={2505.07608},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2505.07608}, 
}

VI. 連絡先

ご質問がある場合は、mimo@xiaomi.comまでお問い合わせいただくか、イシューを開いてください。