Gemma 2 9B It SPPO Iter3

🚀 Gemma-2-9B-It-SPPO-Iter3

本模型旨在通过优化语言模型的偏好，使其输出更符合人类的期望和价值观，从而提升语言模型在实际应用中的表现和可靠性。

🚀 快速开始

本模型 Gemma-2-9B-It-SPPO-Iter3 是基于 Self-Play Preference Optimization 方法在第 3 次迭代中开发的。它以 google/gemma-2-9b-it 架构为起点，利用了 openbmb/UltraFeedback 数据集中的提示集，并通过 snorkelai/Snorkel-Mistral-PairRM-DPO-Dataset 将其分为 3 部分，用于 3 次迭代训练。所有使用的回复均为合成数据。

使用条款：条款

✨ 主要特性

模型描述

其他模型链接

• Gemma-2-9B-It-SPPO-Iter1
• Gemma-2-9B-It-SPPO-Iter2
• Gemma-2-9B-It-SPPO-Iter3

AlpacaEval 排行榜评估结果

训练超参数

以下是训练过程中使用的超参数：

• 学习率：5e-07
• eta：1000
• 每个设备的训练批次大小：8
• 梯度累积步数：1
• 随机种子：42
• 分布式类型：deepspeed_zero3
• 设备数量：8
• 优化器：RMSProp
• 学习率调度器类型：线性
• 学习率调度器热身比例：0.1
• 训练轮数：1.0

📚 详细文档

引用

@misc{wu2024self,
      title={Self-Play Preference Optimization for Language Model Alignment}, 
      author={Wu, Yue and Sun, Zhiqing and Yuan, Huizhuo and Ji, Kaixuan and Yang, Yiming and Gu, Quanquan},
      year={2024},
      eprint={2405.00675},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}