Tora Code 13b V1.0

🚀 ToRA: 数学問題解決のためのツール統合推論エージェント

ToRAは、計算ライブラリや記号求解器などのツールと相互作用することで、難しい数学的推論問題を解決するために設計された一連のツール統合推論エージェントです。自然言語推論と外部ツールの利用をシームレスに統合し、言語の分析能力と外部ツールの計算効率を融合させます。

[🌐 ウェブサイト] • [📜 論文] • [🤗 HFモデル] • [🐱 GitHub]
[🐦 Twitter] • [💬 Reddit] • [🍀 非公式ブログ]

このリポジトリは、「ToRA: A Tool-Integrated Reasoning Agent for Mathematical Problem Solving」のものです。

🔥 ニュース

• [2023/10/08] 🔥🔥🔥 すべてのToRAモデルがHuggingFaceで公開されました!!!
• [2023/09/29] ToRAの論文、リポジトリ、ウェブサイトが公開されました。

✨ 主な機能

ToRAは、ツール統合推論エージェントとして、自然言語推論と外部ツールの利用を組み合わせることで、数学的推論問題を効果的に解決します。以下は、いくつかのモデルの評価指標です。

• ^*ToRA-Code-34Bは、現在、MATHデータセットで50%以上の精度（pass@1）を達成した最初で唯一のオープンソースモデルです。これは、GPT-4のCoT結果（51.0対42.5）を大幅に上回り、プログラムを使って問題を解くGPT-4と競争力があります。私たちは、コードとモデルをオープンソース化することで、さらなる突破が起こることを期待しています！

• ^†10の数学タスクには、GSM8k、MATH、GSM-Hard、SVAMP、TabMWP、ASDiv、SingleEQ、SingleOP、AddSub、およびMultiArithが含まれます。

🔧 技術詳細

⚡️ 学習

これらのモデルは、ToRA-Corpus 16kで学習されています。このコーパスには、GPT-4から得られたMATHとGSM8kのツール統合推論軌跡が含まれています。

モデルの微調整には模倣学習（つまり、SFT）を使用し、その後、提案した出力空間整形を適用して、ツール統合推論の振る舞いを改善しています。詳細については、論文を参照してください。

🪁 推論と評価

推論、評価、および学習コードについては、ToRAのGitHubリポジトリを参照してください。

📄 ライセンス

このモデルはLlama2ライセンスの下で提供されています。

☕️ 引用

このリポジトリが役に立った場合は、以下のように論文を引用してください。

@misc{gou2023tora,
      title={ToRA: A Tool-Integrated Reasoning Agent for Mathematical Problem Solving}, 
      author={Zhibin Gou and Zhihong Shao and Yeyun Gong and yelong shen and Yujiu Yang and Minlie Huang and Nan Duan and Weizhu Chen},
      year={2023},
      eprint={2309.17452},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}