Tora Code 13b V1.0

🚀 ToRA：用於數學問題求解的工具集成推理代理

ToRA是一系列工具集成推理代理，旨在通過與計算庫和符號求解器等工具交互，解決具有挑戰性的數學推理問題。它將自然語言推理與外部工具的使用無縫集成，結合了語言的分析能力和外部工具的計算效率。

🚀 快速開始

若需進行推理、評估和訓練代碼的操作，請參考ToRA的GitHub倉庫。

✨ 主要特性

• ToRA系列模型能與工具交互，解決複雜數學推理問題。
• 無縫集成自然語言推理和外部工具使用。
• ToRA - Code - 34B是首個在MATH數據集上準確率（pass@1）超過50%的開源模型，顯著優於GPT - 4的思維鏈（CoT）結果。

📦 安裝指南

文檔未提供具體安裝步驟，故跳過此章節。

💻 使用示例

文檔未提供代碼示例，故跳過此章節。

📚 詳細文檔

🔥 最新消息

• [2023/10/08] 🔥🔥🔥 所有ToRA模型已在HuggingFace發佈！！！
• [2023/09/29] ToRA論文、倉庫和網站發佈。

💡 簡介

ToRA是一系列工具集成推理代理，旨在通過與工具（如計算庫和符號求解器）交互來解決具有挑戰性的數學推理問題。ToRA系列將自然語言推理與外部工具的使用無縫集成，從而將語言的分析能力與外部工具的計算效率相結合。

• ^*ToRA - Code - 34B目前是首個且唯一在MATH數據集上準確率（pass@1）超過50%的開源模型，顯著優於GPT - 4的思維鏈（CoT）結果（51.0 vs. 42.5），並且在使用程序解決問題方面與GPT - 4具有競爭力。通過開源我們的代碼和模型，我們希望能有更多的突破！

• ^†10個數學任務包括GSM8k、MATH、GSM - Hard、SVAMP、TabMWP、ASDiv、SingleEQ、SingleOP、AddSub和MultiArith。

⚡️ 訓練

這些模型在ToRA - Corpus 16k上進行訓練，該語料庫包含來自GPT - 4的MATH和GSM8k的工具集成推理軌跡。

我們使用模仿學習（即有監督微調，SFT）對模型進行微調，然後應用我們提出的輸出空間整形方法來改進工具集成推理行為。更多詳細信息請參考論文。

🪁 推理與評估

請參考ToRA的GitHub倉庫獲取推理、評估和訓練代碼。

☕️ 引用

如果您覺得這個倉庫有幫助，請考慮引用我們的論文：

@misc{gou2023tora,
      title={ToRA: A Tool-Integrated Reasoning Agent for Mathematical Problem Solving}, 
      author={Zhibin Gou and Zhihong Shao and Yeyun Gong and yelong shen and Yujiu Yang and Minlie Huang and Nan Duan and Weizhu Chen},
      year={2023},
      eprint={2309.17452},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 許可證

本項目使用Llama2許可證。

🔗 相關鏈接

• 🌐 網站
• 📜 論文
• 🤗 Hugging Face模型
• 🐱 GitHub倉庫
• 🐦 Twitter
• 💬 Reddit
• 🍀 非官方博客