Openmath2 Llama3.1 70B

🚀 OpenMath2-Llama3.1-70B

OpenMath2-Llama3.1-70B 是通过使用 OpenMathInstruct-2 对 Llama3.1-70B-Base 进行微调得到的。该模型在 MATH 数据集上的表现比 Llama3.1-70B-Instruct 高出 3.9%。

✨ 主要特性

• 模型微调：基于 Llama3.1-70B-Base 模型，使用 OpenMathInstruct-2 数据集进行微调。
• 性能提升：在数学相关数据集上的表现优于 Llama3.1-70B-Instruct。
• 开源透明：用于生成数据和模型的流程完全开源。

📋 模型信息

📊 模型性能对比

💻 使用示例

基础用法

import transformers
import torch

model_id = "nvidia/OpenMath2-Llama3.1-70B"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {
        "role": "user", 
        "content": "Solve the following math problem. Make sure to put the answer (and only answer) inside \\boxed{}.\n\n" + 
        "What is the minimum value of $a^2+6a-7$?"},
]

outputs = pipeline(
    messages,
    max_new_tokens=4096,
)
print(outputs[0]["generated_text"][-1]['content'])

🔗 开源资源

我们用于生成数据和模型的流程完全开源！

• 代码
• 模型
• 数据集

📚 详细文档

如需了解更多详细信息，请查看我们的 论文。

🔄 结果复现

我们提供了 所有说明 以完全复现我们的结果。

📖 引用

如果您觉得我们的工作有用，请考虑引用我们！

@article{toshniwal2024openmath2,
  title   = {OpenMathInstruct-2: Accelerating AI for Math with Massive Open-Source Instruction Data},
  author  = {Shubham Toshniwal and Wei Du and Ivan Moshkov and  Branislav Kisacanin and Alexan Ayrapetyan and Igor Gitman},
  year    = {2024},
  journal = {arXiv preprint arXiv:2410.01560}
}

📄 许可证

访问此模型即表示您同意 许可证、可接受使用政策 和 Meta 的隐私政策 的 Llama 3.1 条款和条件。

⚠️ 重要提示

请注意，这些模型未在通用数据上进行指令微调，因此在数学领域之外可能无法提供良好的答案。

💡 使用建议

我们建议使用 我们仓库中的说明 来对这些模型进行推理。