Rho Math 1b V0.1

🚀 Rho-1：並非所有令牌都是你所需要的

Rho-1是一種採用選擇性語言建模（SLM）進行預訓練的模型，通過聚焦於有用且乾淨的令牌，提升了在GSM8k和MATH等數據集上的少樣本準確率，並且能更快地達到基線性能。

🚀 快速開始

評估

git clone git@github.com:microsoft/rho.git
cd rho-1/math-evaluation-harness

基礎模型少樣本評估：

bash scripts/run_eval.sh cot microsoft/rho-math-7b-v0.1

SFT模型（代碼解釋器）評估：

bash scripts/run_eval.sh tora microsoft/rho-math-7b-interpreter-v0.1

我們復現的輸出結果存於rho-1/outputs.zip中。

✨ 主要特性

選擇性語言建模（SLM）

圖1：Rho-1採用選擇性語言建模（SLM）進行預訓練。SLM使GSM8k和MATH上的平均少樣本準確率提高了16%以上，能以5 - 10倍的速度達到基線性能。

圖2：上方：即使是經過大量過濾的預訓練語料庫也包含令牌級別的噪聲。左方：之前的因果語言建模（CLM）對所有令牌進行訓練。右方：我們提出的選擇性語言建模（SLM）有選擇地對那些有用且乾淨的令牌應用損失。

圖3：選擇性語言建模的流程。SLM通過在預訓練期間專注於有價值、乾淨的令牌來優化語言模型性能。它包括三個步驟：（步驟1）首先，在高質量數據上訓練一個參考模型。（步驟2）然後，使用參考模型對語料庫中每個令牌的損失進行評分。（步驟3）最後，有選擇地對那些與參考損失相比顯示出更高超額損失的令牌訓練語言模型。

評估結果

基礎模型（少樣本思維鏈）

工具集成推理（代碼解釋器）

📄 許可證

本項目採用MIT許可證。

☕️ 引用

如果您覺得這個倉庫有用，請考慮引用我們的論文：

@misc{lin2024rho1,
      title={Rho-1: Not All Tokens Are What You Need}, 
      author={Zhenghao Lin and Zhibin Gou and Yeyun Gong and Xiao Liu and Yelong Shen and Ruochen Xu and Chen Lin and Yujiu Yang and Jian Jiao and Nan Duan and Weizhu Chen},
      year={2024},
      eprint={2404.07965},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

相關鏈接

[📜 Arxiv] • [💬 HF Paper] • [🤗 Models] • [🐱 GitHub]