Mimo 7B SFT

license: mit library_name: transformers

━━━━━━━━━━━━━━━━━━━━━━━━━
言語モデルの推論ポテンシャルを解放する
事前学習から事後学習まで
━━━━━━━━━━━━━━━━━━━━━━━━━

このモデルリポジトリはMITライセンスの下で公開されています。

I. はじめに

現在、オープンソース研究を含むほとんどの成功したRL研究は、比較的大きなベースモデル（例：32Bモデル）に依存しており、特にコード推論能力の向上に重点を置いています。さらに、小さなモデルで数学的能力とコード能力の両方を均一かつ同時に向上させることは困難であると広く考えられていました。しかしながら、私たちは、RLで訓練された推論モデルの有効性は、ベースモデルが本来持つ推論ポテンシャルに依存すると考えています。言語モデルの推論ポテンシャルを完全に解放するためには、事後学習だけでなく、推論に特化した事前学習戦略にも焦点を当てる必要があります。

この研究では、スクラッチから訓練され、推論タスクのために生まれたMiMo-7Bシリーズを紹介します。MiMo-7B-BaseからのRL実験では、私たちのモデルが並外れた推論ポテンシャルを持ち、はるかに大きな32Bモデルを凌駕することさえ示しています。さらに、コールドスタートのSFTモデルに対してRL訓練を行い、MiMo-7B-RLを開発しました。このモデルは数学とコードの推論タスクの両方で優れた性能を発揮し、OpenAIのo1-miniと同等の性能を示しています。

私たちはMiMo-7Bシリーズをオープンソース化します。これには、ベースモデル、SFTモデル、ベースモデルから訓練されたRLモデル、およびSFTモデルから訓練されたRLモデルのチェックポイントが含まれます。 このレポートとモデルが、強力な推論LLMを開発するための貴重な洞察を提供し、広いコミュニティに貢献することを願っています。

üåü ハイライト

• 事前学習: 推論のために生まれたベースモデル

  • データ前処理パイプラインを最適化し、テキスト抽出ツールキットを強化し、多次元のデータフィルタリングを適用して、事前学習データにおける推論パターンの密度を高めました。また、多様な合成推論データを大量に生成するための複数の戦略を採用しています。
  • 事前学習のために3段階のデータ混合戦略を採用しています。全体として、MiMo-7B-Baseは約25兆トークンで事前学習されています。
  • 追加の訓練目標としてMultiple-Token Predictionを組み込み、モデルの性能を向上させるとともに推論を加速させました。

• 事後学習レシピ: 先駆的な推論モデル

  • 数学とコードの問題130KをRL訓練データとしてキュレーションしました。これらはルールベースの検証器で検証可能です。各問題は品質を確保するために注意深くクリーニングされ、難易度評価が行われています。報酬ハッキングの可能性を避けるため、ルールベースの精度報酬のみを使用しています。
  • 難しいコード問題に対するスパースな報酬問題を緩和するために、テスト難易度駆動型のコード報酬を導入しました。さまざまな難易度レベルのテストケースに細かいスコアを割り当てることで、政策をより効果的に最適化できます。
  • 簡単な問題に対してデータ再サンプリング戦略を実装し、ロールアウトサンプリング効率を向上させ、特にRL訓練の後期段階で政策更新を安定させました。

• RLインフラストラクチャ

  • RL訓練と検証を加速するためのシームレスなロールアウトエンジンを開発しました。私たちの設計は、連続的なロールアウト、非同期報酬計算、早期終了を統合し、GPUのアイドル時間を最小限に抑え、訓練を2.29倍、検証を1.96倍高速化しました。
  • vLLMでMTPをサポートし、RLシステムにおける推論エンジンの堅牢性を強化しました。

II. モデル詳細

MiMo-7BのMTP層は、事前学習とSFT中に調整され、RL中は固定されます。投機的デコード用に1つのMTP層を使用すると、受け入れ率は約90%です。

モデルはhttps://huggingface.co/XiaomiMiMoとhttps://www.modelscope.cn/organization/XiaomiMiMoで利用可能です。

III. 評価結果

MiMo-7Bシリーズ

[!重要] 評価はtemperature=0.6で実施されています。

AIME24とAIME25は32回の繰り返しの平均スコアです。LiveCodeBench v5 (20240801-20250201)、LiveCodeBench v6 (20250201-20250501)、GPQA-Diamond、IF-Evalは8回の繰り返しの平均スコアです。MATH500とSuperGPQAは単一実行です。

IV. デプロイ

SGLang推論

SGLangチームの貢献により、MiMoをSGLangメインストリームで24時間以内にサポートし、MTPも近日中にサポート予定です。

サンプルスクリプト

# 最新のSGlangをメインブランチからインストール
python3 -m uv pip install "sglang[all] @ git+https://github.com/sgl-project/sglang.git/@main#egg=sglang&subdirectory=python"

# SGLangサーバーを起動
python3 -m sglang.launch_server --model-path XiaomiMiMo/MiMo-7B-SFT --host 0.0.0.0 --trust-remote-code

詳細な使用方法はSGLangドキュメントで確認できます。MTPも24時間以内にサポートされます。

vLLM推論

1. [推奨] MiMo-MTPの推論を私たちのvLLMフォークで公式にサポートしています。

サンプルスクリプト

from vllm import LLM, SamplingParams

model_path = "/path/to/MiMo"
llm = LLM(
    model=model_path,
    trust_remote_code=True,
    num_speculative_tokens=1,
    disable_log_stats=False
)
sampling_params = SamplingParams(temperature=0.6)

conversation = [
    {
        "role": "system",
        "content": ""
    },
    {
        "role": "user",
        "content": "高等教育の重要性についてのエッセイを書いてください。",
    },
]

outputs = llm.chat(conversation,
                   sampling_params=sampling_params,
                   use_tqdm=False)

for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"プロンプト: {prompt!r}, 生成テキスト: {generated_text!r}")

print("=" * 80)

2. または、MTPパラメータをロードせずにvLLMローダーをMiMo用に登録できます。

registry/register_mimo_in_vllm.pyをあなたのディレクトリにコピーし、以下のようにインポートできます。

import register_mimo_in_vllm

from vllm import LLM, SamplingParams

model_path = "/path/to/MiMo"
llm = LLM(
    model=model_path,
    trust_remote_code=True,
    # num_speculative_tokens=1,
    disable_log_stats=False
)
sampling_params = SamplingParams(temperature=0.6)

HuggingFace推論

サンプルスクリプト

from transformers import AutoModel, AutoModelForCausalLM, AutoTokenizer

model_id = "XiaomiMiMo/MiMo-7B-SFT"
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_id)
inputs = tokenizer(["今日は"], return_tensors='pt')
output = model.generate(**inputs, max_new_tokens = 100)
print(tokenizer.decode(output.tolist()[0]))

推奨環境とプロンプト

• 私たちのvLLMフォークを使用することを推奨します。これはvLLM 0.7.3をベースに開発されています。
• 空のシステムプロンプトを使用することを推奨します。

他の推論エンジンでのMiMoの検証は行っておらず、Huggingfaceリポジトリのモデル定義に基づく貢献を歓迎しますüíª。

V. 引用

@misc{coreteam2025mimounlockingreasoningpotential,
      title={MiMo: 言語モデルの推論ポテンシャルを解放する -- 事前学習から事後学習まで}, 
      author={{Xiaomi LLM-Core Team}},
      year={2025},
      eprint={2505.07608},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2505.07608}, 
}

VI. 連絡先

ご質問がある場合は、mimo@xiaomi.comまでお問い合わせいただくか、イシューを開いてください。