Openmath2 Llama3.1 8B

🚀 OpenMath2-Llama3.1-8B

OpenMath2-Llama3.1-8Bは、Llama3.1-8B-BaseをOpenMathInstruct-2でファインチューニングすることで得られたモデルです。このモデルは、評価したすべての一般的な数学ベンチマークでLlama3.1-8B-Instructを上回っており、特にMATHでは15.9%上回っています。

データとモデルを生成するために使用したパイプラインは完全にオープンソースです！

• コード
• モデル
• データセット

詳細については、論文を参照してください！

🚀 クイックスタート

モデルの使い方

当社のモデルは、Llama3.1-instructモデルと同じ「チャット形式」（同じシステム/ユーザー/アシスタントトークン）でトレーニングされています。ただし、これらのモデルは一般的なデータで命令調整されていないため、数学の領域以外では良い回答を提供できない場合があります。

これらのモデルで推論を実行するには、当社のリポジトリ内の指示を使用することをお勧めしますが、以下はtransformers APIを通じて実行する方法の例です。

💻 使用例

基本的な使用法

import transformers
import torch

model_id = "nvidia/OpenMath2-Llama3.1-8B"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {
        "role": "user", 
        "content": "Solve the following math problem. Make sure to put the answer (and only answer) inside \\boxed{}.\n\n" + 
        "What is the minimum value of $a^2+6a-7$?"},
]

outputs = pipeline(
    messages,
    max_new_tokens=4096,
)
print(outputs[0]["generated_text"][-1]['content'])

再現方法

当社の結果を完全に再現するためのすべての指示を提供しています。

📚 詳細ドキュメント

引用

当社の研究が役に立った場合は、引用を検討してください！

@article{toshniwal2024openmath2,
  title   = {OpenMathInstruct-2: Accelerating AI for Math with Massive Open-Source Instruction Data},
  author  = {Shubham Toshniwal and Wei Du and Ivan Moshkov and  Branislav Kisacanin and Alexan Ayrapetyan and Igor Gitman},
  year    = {2024},
  journal = {arXiv preprint arXiv:2410.01560}
}

利用規約

このモデルにアクセスすることで、ライセンス、許容使用ポリシー、およびMetaのプライバシーポリシーのLLama 3.1の条件に同意することになります。

情報