🚀 OpenMath2-Llama3.1-8B
OpenMath2-Llama3.1-8B 是通过使用 OpenMathInstruct-2 对 Llama3.1-8B-Base 进行微调得到的。该模型在我们评估的所有流行数学基准测试中都优于 Llama3.1-8B-Instruct,特别是在 MATH 基准测试中,性能提升了 15.9%。
模型 |
GSM8K |
MATH |
AMC 2023 |
AIME 2024 |
Omni-MATH |
Llama3.1-8B-Instruct |
84.5 |
51.9 |
9/40 |
2/30 |
12.7 |
OpenMath2-Llama3.1-8B (nemo | HF) |
91.7 |
67.8 |
16/40 |
3/30 |
22.0 |
+ majority@256 |
94.1 |
76.1 |
23/40 |
3/30 |
24.6 |
Llama3.1-70B-Instruct |
95.8 |
67.9 |
19/40 |
6/30 |
19.0 |
OpenMath2-Llama3.1-70B (nemo | HF) |
94.9 |
71.9 |
20/40 |
4/30 |
23.1 |
+ majority@256 |
96.0 |
79.6 |
24/40 |
6/30 |
27.6 |
我们用于生成数据和模型的流程已完全开源!
查看我们的 论文 以了解更多详情!
🚀 快速开始
模型使用方法
我们的模型采用与 Llama3.1 指令模型相同的“聊天格式”进行训练(相同的系统/用户/助手令牌)。请注意,这些模型未在通用数据上进行指令微调,因此在数学领域之外可能无法提供良好的答案。
我们建议使用 我们仓库中的说明 对这些模型进行推理,但以下是一个通过 transformers
API 进行推理的示例:
import transformers
import torch
model_id = "nvidia/OpenMath2-Llama3.1-8B"
pipeline = transformers.pipeline(
"text-generation",
model=model_id,
model_kwargs={"torch_dtype": torch.bfloat16},
device_map="auto",
)
messages = [
{
"role": "user",
"content": "Solve the following math problem. Make sure to put the answer (and only answer) inside \\boxed{}.\n\n" +
"What is the minimum value of $a^2+6a-7$?"},
]
outputs = pipeline(
messages,
max_new_tokens=4096,
)
print(outputs[0]["generated_text"][-1]['content'])
复现结果
我们提供了 所有说明 以完全复现我们的结果。
📚 详细文档
引用
如果您觉得我们的工作有用,请考虑引用我们!
@article{toshniwal2024openmath2,
title = {OpenMathInstruct-2: Accelerating AI for Math with Massive Open-Source Instruction Data},
author = {Shubham Toshniwal and Wei Du and Ivan Moshkov and Branislav Kisacanin and Alexan Ayrapetyan and Igor Gitman},
year = {2024},
journal = {arXiv preprint arXiv:2410.01560}
}
使用条款
访问此模型即表示您同意 许可证、可接受使用政策 和 Meta 隐私政策 的 Llama 3.1 条款和条件。
📄 许可证
该模型使用的许可证为 llama3.1。
📦 模型信息
属性 |
详情 |
模型类型 |
OpenMath2-Llama3.1-8B |
基础模型 |
meta-llama/Llama-3.1-8B |
训练数据 |
nvidia/OpenMathInstruct-2 |
语言 |
en |
标签 |
nvidia, math |
库名称 |
transformers |
⚠️ 重要提示
这些模型未在通用数据上进行指令微调,因此在数学领域之外可能无法提供良好的答案。
💡 使用建议
建议使用 我们仓库中的说明 对这些模型进行推理。