🚀 OpenMath2-Llama3.1-8B
OpenMath2-Llama3.1-8B 是通過使用 OpenMathInstruct-2 對 Llama3.1-8B-Base 進行微調得到的。該模型在我們評估的所有流行數學基準測試中都優於 Llama3.1-8B-Instruct,特別是在 MATH 基準測試中,性能提升了 15.9%。
模型 |
GSM8K |
MATH |
AMC 2023 |
AIME 2024 |
Omni-MATH |
Llama3.1-8B-Instruct |
84.5 |
51.9 |
9/40 |
2/30 |
12.7 |
OpenMath2-Llama3.1-8B (nemo | HF) |
91.7 |
67.8 |
16/40 |
3/30 |
22.0 |
+ majority@256 |
94.1 |
76.1 |
23/40 |
3/30 |
24.6 |
Llama3.1-70B-Instruct |
95.8 |
67.9 |
19/40 |
6/30 |
19.0 |
OpenMath2-Llama3.1-70B (nemo | HF) |
94.9 |
71.9 |
20/40 |
4/30 |
23.1 |
+ majority@256 |
96.0 |
79.6 |
24/40 |
6/30 |
27.6 |
我們用於生成數據和模型的流程已完全開源!
查看我們的 論文 以瞭解更多詳情!
🚀 快速開始
模型使用方法
我們的模型採用與 Llama3.1 指令模型相同的“聊天格式”進行訓練(相同的系統/用戶/助手令牌)。請注意,這些模型未在通用數據上進行指令微調,因此在數學領域之外可能無法提供良好的答案。
我們建議使用 我們倉庫中的說明 對這些模型進行推理,但以下是一個通過 transformers
API 進行推理的示例:
import transformers
import torch
model_id = "nvidia/OpenMath2-Llama3.1-8B"
pipeline = transformers.pipeline(
"text-generation",
model=model_id,
model_kwargs={"torch_dtype": torch.bfloat16},
device_map="auto",
)
messages = [
{
"role": "user",
"content": "Solve the following math problem. Make sure to put the answer (and only answer) inside \\boxed{}.\n\n" +
"What is the minimum value of $a^2+6a-7$?"},
]
outputs = pipeline(
messages,
max_new_tokens=4096,
)
print(outputs[0]["generated_text"][-1]['content'])
復現結果
我們提供了 所有說明 以完全復現我們的結果。
📚 詳細文檔
引用
如果您覺得我們的工作有用,請考慮引用我們!
@article{toshniwal2024openmath2,
title = {OpenMathInstruct-2: Accelerating AI for Math with Massive Open-Source Instruction Data},
author = {Shubham Toshniwal and Wei Du and Ivan Moshkov and Branislav Kisacanin and Alexan Ayrapetyan and Igor Gitman},
year = {2024},
journal = {arXiv preprint arXiv:2410.01560}
}
使用條款
訪問此模型即表示您同意 許可證、可接受使用政策 和 Meta 隱私政策 的 Llama 3.1 條款和條件。
📄 許可證
該模型使用的許可證為 llama3.1。
📦 模型信息
屬性 |
詳情 |
模型類型 |
OpenMath2-Llama3.1-8B |
基礎模型 |
meta-llama/Llama-3.1-8B |
訓練數據 |
nvidia/OpenMathInstruct-2 |
語言 |
en |
標籤 |
nvidia, math |
庫名稱 |
transformers |
⚠️ 重要提示
這些模型未在通用數據上進行指令微調,因此在數學領域之外可能無法提供良好的答案。
💡 使用建議
建議使用 我們倉庫中的說明 對這些模型進行推理。