Openmath Nemotron 1.5B

🚀 OpenMath-Nemotron-1.5B

OpenMath-Nemotron-1.5Bは、Qwen/Qwen2.5-Math-1.5BをOpenMathReasoningデータセットでファインチューニングすることで作成されました。このモデルは商用利用が可能です。

OpenMath-Nemotronモデルは、人気のある数学的ベンチマークで最先端の結果を達成しています。評価指標として、pass@1 (maj@64) を提示しています。ここで、pass@1は64回の生成にわたる平均精度であり、maj@64は多数決の結果です。評価設定の詳細については、論文を参照してください。

我々は、OpenMath-Nemotron-14Bのバージョンを使用して、AIMO-2 Kaggleコンペティションで一位を獲得しました！

🚀 クイックスタート

結果の再現

データとモデルを生成するために使用したパイプラインは完全にオープンソースです！

• コード
• モデル
• データセット
• 論文

データ生成を含むすべての結果を完全に再現するためのすべての手順を提供しています。

モデルの使用方法

我々のモデルは、3つの推論モードで使用できます。すなわち、連鎖思考 (CoT)、ツール統合推論 (TIR)、および生成的解選択 (GenSelect) です。

CoTモードで推論を実行するには、以下のコードスニペットを使用できます。

import transformers
import torch

model_id = "nvidia/OpenMath-Nemotron-1.5B"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {
        "role": "user", 
        "content": "Solve the following math problem. Make sure to put the answer (and only answer) inside \\boxed{}.\n" + 
        "What is the minimum value of $a^2+6a-7$?"},
]

outputs = pipeline(
    messages,
    max_new_tokens=4096,
)
print(outputs[0]["generated_text"][-1]['content'])

TIRまたはGenSelectモードで推論を実行する場合は、NeMo-Skillsのリファレンス実装の使用を強くおすすめします。

なお、これらのモデルは一般的なデータで命令調整されていないため、数学の領域以外では良い回答を提供できない可能性があります。

📚 ドキュメント

引用

もし我々の研究が役に立った場合は、引用を検討してください！

@article{moshkov2025aimo2,
  title   = {AIMO-2 Winning Solution: Building State-of-the-Art Mathematical Reasoning Models with OpenMathReasoning dataset},
  author  = {Ivan Moshkov and Darragh Hanley and Ivan Sorokin and Shubham Toshniwal and Christof Henkel and Benedikt Schifferer and Wei Du and Igor Gitman},
  year    = {2025},
  journal = {arXiv preprint arXiv:2504.16891}
}

追加情報

ライセンス/利用規約

このモデルの使用は、CC-BY-4.0によって規制されています。追加情報については、Apache License Version 2.0を参照してください。

展開地域

グローバル

ユースケース

このモデルは、数学的推論の分野での研究を促進することを目的としています。

リリース日

Huggingface 2025年4月23日

モデルアーキテクチャ

• アーキテクチャタイプ：Transformerデコーダーのみの言語モデル
• ネットワークアーキテクチャ：Qwen2.5

このモデルは、Qwen2.5-1.5Bをベースに開発されています。モデルのパラメータ数は15億です。

入力

• 入力タイプ：テキスト
• 入力形式：文字列
• 入力パラメータ：一次元 (1D)
• 入力に関連するその他の特性：最大131,072トークンのコンテキスト長

出力

• 出力タイプ：テキスト
• 出力形式：文字列
• 出力パラメータ：一次元 (1D)
• 出力に関連するその他の特性：最大131,072トークンのコンテキスト長

我々のAIモデルは、NVIDIAのGPUアクセラレートシステムでの実行を設計および最適化されています。NVIDIAのハードウェア (例：GPUコア) とソフトウェアフレームワーク (例：CUDAライブラリ) を活用することで、CPUのみのソリューションと比較して、より高速なトレーニングと推論時間を達成しています。

ソフトウェア統合

• ランタイムエンジン
  • Tensor RT / Triton
• サポートされるハードウェアマイクロアーキテクチャ互換性
  • NVIDIA Ampere
  • NVIDIA Hopper
• 推奨オペレーティングシステム
  • Linux

モデルバージョン

• OpenMath-Nemotron-1.5B
• OpenMath-Nemotron-7B
• OpenMath-Nemotron-14B
• OpenMath-Nemotron-32B

倫理的考慮事項

NVIDIAは、信頼できるAIは共同の責任であると考えており、幅広いAIアプリケーションの開発を可能にするためのポリシーと実践を確立しています。サービス利用規約に従ってダウンロードまたは使用する場合、開発者は自社のモデルチームと協力して、このモデルが関連する業界やユースケースの要件を満たし、予期しない製品の誤用に対応することを確認する必要があります。

このモデルの倫理的考慮事項の詳細については、モデルカード++の説明可能性、バイアス、安全性とセキュリティ、およびプライバシーのサブカードを参照してください。

セキュリティの脆弱性またはNVIDIA AIに関する懸念事項は、こちらから報告してください。