Rho Math 1b V0.1

🚀 Rho-1: Not All Tokens Are What You Need

Rho-1は、Selective Language Modeling (SLM) を用いて事前学習されたモデルです。SLMにより、GSM8kやMATHでの平均的なFew-shot精度が16%以上向上し、ベースラインの性能を5 - 10倍速く達成することができます。

🚀 クイックスタート

評価

git clone git@github.com:microsoft/rho.git
cd rho-1/math-evaluation-harness

ベースモデルのFew-shot評価:

bash scripts/run_eval.sh cot microsoft/rho-math-7b-v0.1

SFTモデル (コードインタープリター) の評価:

bash scripts/run_eval.sh tora microsoft/rho-math-7b-interpreter-v0.1

再現した出力は rho-1/outputs.zip に提供されています。

✨ 主な機能

Selective Lanugage Modeling (SLM)

図2: 上: 広範にフィルタリングされた事前学習コーパスでも、トークンレベルのノイズが含まれます。 左: 従来のCausal Language Modeling (CLM) はすべてのトークンで学習します。 右: 我々が提案するSelective Language Modeling (SLM) は、有用でクリーンなトークンに対して選択的に損失を適用します。

図3: Selective Language Modelingのパイプライン。 SLMは、事前学習中に価値のあるクリーンなトークンに集中することで、言語モデルの性能を最適化します。 3つのステップから成ります: (ステップ1) まず、高品質データで参照モデルを学習させます。 (ステップ2) 次に、参照モデルを使用してコーパス内の各トークンの損失をスコアリングします。 (ステップ3) 最後に、参照損失に比べて高い過剰損失を示すトークンで選択的に言語モデルを学習させます。

評価結果

ベースモデル (Few-shot CoT):

ツール統合推論 (コードインタープリター):

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

☕️ 引用

もしこのリポジトリが役に立った場合、以下のように論文を引用してください。

@misc{lin2024rho1,
      title={Rho-1: Not All Tokens Are What You Need}, 
      author={Zhenghao Lin and Zhibin Gou and Yeyun Gong and Xiao Liu and Yelong Shen and Ruochen Xu and Chen Lin and Yujiu Yang and Jian Jiao and Nan Duan and Weizhu Chen},
      year={2024},
      eprint={2404.07965},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

[📜 Arxiv] • [💬 HF Paper] • [🤗 モデル] • [🐱 GitHub]

図1: Rho-1は、Selective Language Modeling (SLM) で事前学習されています。SLMにより、GSM8kとMATHでの平均的なFew-shot精度が16%以上向上し、ベースラインの性能を5 - 10倍速く達成します。

🔥 ニュース

• [2024/04/12] 🔥🔥🔥 Rho-Math-v0.1モデルが🤗 HuggingFaceで公開されました！
  • Rho-Math-1B と Rho-Math-7B は、それぞれMATHデータセットで15.6%と31.0%のFew-shot精度を達成しています — 事前学習トークンのわずか3%でDeepSeekMathに匹敵する性能を発揮します。
  • Rho-Math-1B-Interpreter は、MATHで40%以上の精度を達成した最初の1Bの大規模言語モデルです。
  • Rho-Math-7B-Interpreter は、MATHデータセットで52%の精度を達成し、ファインチューニングにはわずか69kのサンプルを使用しています。
• [2024/04/11] Rho-1の論文とリポジトリが公開されました。