Openmath2 Llama3.1 70B

🚀 OpenMath2-Llama3.1-70B

OpenMath2-Llama3.1-70B 是通過使用 OpenMathInstruct-2 對 Llama3.1-70B-Base 進行微調得到的。該模型在 MATH 數據集上的表現比 Llama3.1-70B-Instruct 高出 3.9%。

✨ 主要特性

• 模型微調：基於 Llama3.1-70B-Base 模型，使用 OpenMathInstruct-2 數據集進行微調。
• 性能提升：在數學相關數據集上的表現優於 Llama3.1-70B-Instruct。
• 開源透明：用於生成數據和模型的流程完全開源。

📋 模型信息

📊 模型性能對比

💻 使用示例

基礎用法

import transformers
import torch

model_id = "nvidia/OpenMath2-Llama3.1-70B"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {
        "role": "user", 
        "content": "Solve the following math problem. Make sure to put the answer (and only answer) inside \\boxed{}.\n\n" + 
        "What is the minimum value of $a^2+6a-7$?"},
]

outputs = pipeline(
    messages,
    max_new_tokens=4096,
)
print(outputs[0]["generated_text"][-1]['content'])

🔗 開源資源

我們用於生成數據和模型的流程完全開源！

• 代碼
• 模型
• 數據集

📚 詳細文檔

如需瞭解更多詳細信息，請查看我們的 論文。

🔄 結果復現

我們提供了 所有說明 以完全復現我們的結果。

📖 引用

如果您覺得我們的工作有用，請考慮引用我們！

@article{toshniwal2024openmath2,
  title   = {OpenMathInstruct-2: Accelerating AI for Math with Massive Open-Source Instruction Data},
  author  = {Shubham Toshniwal and Wei Du and Ivan Moshkov and  Branislav Kisacanin and Alexan Ayrapetyan and Igor Gitman},
  year    = {2024},
  journal = {arXiv preprint arXiv:2410.01560}
}

📄 許可證

訪問此模型即表示您同意 許可證、可接受使用政策 和 Meta 的隱私政策 的 Llama 3.1 條款和條件。

⚠️ 重要提示

請注意，這些模型未在通用數據上進行指令微調，因此在數學領域之外可能無法提供良好的答案。

💡 使用建議

我們建議使用 我們倉庫中的說明 來對這些模型進行推理。