Rho Math 1b V0.1

🚀 Rho-1：并非所有令牌都是你所需要的

Rho-1是一种采用选择性语言建模（SLM）进行预训练的模型，通过聚焦于有用且干净的令牌，提升了在GSM8k和MATH等数据集上的少样本准确率，并且能更快地达到基线性能。

🚀 快速开始

评估

git clone git@github.com:microsoft/rho.git
cd rho-1/math-evaluation-harness

基础模型少样本评估：

bash scripts/run_eval.sh cot microsoft/rho-math-7b-v0.1

SFT模型（代码解释器）评估：

bash scripts/run_eval.sh tora microsoft/rho-math-7b-interpreter-v0.1

我们复现的输出结果存于rho-1/outputs.zip中。

✨ 主要特性

选择性语言建模（SLM）

图1：Rho-1采用选择性语言建模（SLM）进行预训练。SLM使GSM8k和MATH上的平均少样本准确率提高了16%以上，能以5 - 10倍的速度达到基线性能。

图2：上方：即使是经过大量过滤的预训练语料库也包含令牌级别的噪声。左方：之前的因果语言建模（CLM）对所有令牌进行训练。右方：我们提出的选择性语言建模（SLM）有选择地对那些有用且干净的令牌应用损失。

图3：选择性语言建模的流程。SLM通过在预训练期间专注于有价值、干净的令牌来优化语言模型性能。它包括三个步骤：（步骤1）首先，在高质量数据上训练一个参考模型。（步骤2）然后，使用参考模型对语料库中每个令牌的损失进行评分。（步骤3）最后，有选择地对那些与参考损失相比显示出更高超额损失的令牌训练语言模型。

评估结果

基础模型（少样本思维链）

工具集成推理（代码解释器）

📄 许可证

本项目采用MIT许可证。

☕️ 引用

如果您觉得这个仓库有用，请考虑引用我们的论文：

@misc{lin2024rho1,
      title={Rho-1: Not All Tokens Are What You Need}, 
      author={Zhenghao Lin and Zhibin Gou and Yeyun Gong and Xiao Liu and Yelong Shen and Ruochen Xu and Chen Lin and Yujiu Yang and Jian Jiao and Nan Duan and Weizhu Chen},
      year={2024},
      eprint={2404.07965},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

相关链接

[📜 Arxiv] • [💬 HF Paper] • [🤗 Models] • [🐱 GitHub]