Parallel 7B

🚀 🐙 多言語数学推論における言語障壁の打破: 洞察と観察

このプロジェクトは、多言語の数学問題解決に特化したオープンソースの大規模言語モデル（LLM）シリーズである 🐙 MathOctopus を紹介します。このモデルは、10 種類の言語をカバーする 🤗 MGSM8KInstruct データセットで訓練されており、従来のオープンソース LLM や ChatGPT を上回る性能を発揮します。

• プロジェクトページ: https://mathoctopus.github.io/
• 論文: https://arxiv.org/abs/2310.20246.pdf
• コード: https://github.com/microsoft/MathOctopus

🚀 クイックスタート

このプロジェクトの詳細については、上記のリンク先のプロジェクトページ、論文、コードを参照してください。

✨ 主な機能

• 多言語対応: 英語、スワヒリ語、中国語、ベンガル語、ドイツ語、スペイン語、フランス語、日本語、ロシア語、タイ語の 10 種類の言語に対応。
• 高性能: 従来のオープンソース LLM や ChatGPT を上回る性能を発揮。
• オープンソース: コードやデータセットがオープンソースで公開されている。

📦 データセット

MGSM8KInstruct

MSVAMP

データセットの利用

当社のデータセットとモデルはすべて Huggingface で利用可能です。

• 🤗 MGSM8KInstruct_Parallel データセット
• 🤗 MGSM8KInstruct_Cross データセット
• 🤗 MSVAMP データセット

📚 モデル

• *-Parallel はパラレルトレーニング戦略で訓練されたモデルを指します。
• *-Cross はクロストレーニング戦略で訓練されたモデルを指します。
• *-xRFT は多言語拒否サンプリングでモデルを訓練したことを意味します。

MGSM での全体的な結果

7B モデル

13B モデル

30 - 34B モデル

MSVAMP での全体的な結果

7B モデル

13B モデル

30 - 34B モデル

英語での MathOctopus

📚 意図された用途

これらのモデルは研究目的で訓練されています。多言語の数学問題を解くために設計されており、教育ソフトウェア、チュータリングシステム、または数学問題の解決が必要なアプリケーションで使用することができます。

📄 ライセンス

このプロジェクトは Apache-2.0 ライセンスの下で公開されています。

📚 引用

当社のデータ、モデル、またはコードを使用する場合は、以下の論文を引用してください。また、元のデータセットの論文も引用していただけると幸いです。

@misc{chen2023breaking,
      title={Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations}, 
      author={Nuo Chen and Zinan Zheng and Ning Wu and Linjun Shou and Ming Gong and Yangqiu Song and Dongmei Zhang and Jia Li},
      year={2023},
      eprint={2310.20246},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}