Gemma 2 9b It WPO HB

🚀 加权偏好优化模型项目

本项目提出了一种新颖的策略，通过使用离线策略偏好数据模拟在线策略学习，来增强离线策略偏好优化。我们的加权偏好优化（WPO）方法通过根据当前策略下偏好对的概率对其进行重新加权，使离线策略数据更接近在线策略数据。这种方法不仅解决了分布差距问题，还在不产生额外成本的情况下优化了优化过程。详情请参考我们的预印本和代码库。

🚀 快速开始

本项目围绕加权偏好优化（WPO）方法展开，通过特定的数据和策略对模型进行微调，以提升模型性能。下面为你详细介绍相关信息。

✨ 主要特性

• 提出加权偏好优化（WPO）方法，利用离线策略偏好数据模拟在线策略学习，解决分布差距问题。
• 通过重新加权偏好对，使离线策略数据更接近在线策略数据，优化过程无需额外成本。

📚 详细文档

模型信息

数据

gemma-2-9b-it 模型通过混合 WPO 进行微调，使用了两种类型的数据：

1. 基于 Ultrafeedback 提示在线策略采样的 gemma 输出。
2. 基于 Ultrafeedback 提示的 GPT - 4 - turbo 输出。

与论文中的偏好数据构建方法相比，我们改用 RLHFlow/ArmoRM - Llama3 - 8B - v0.1 对输出进行评分，并选择得分最大/最小的输出形成偏好对。

我们在 wzhouad/gemma - 2 - ultrafeedback - hybrid 提供了训练数据。

AlpacaEval 评估结果

其他 WPO 模型链接

查看我们的 WPO 集合。

训练超参数

训练过程中使用了以下超参数：

• 学习率（learning_rate）：1e - 06
• 贝塔（beta）：0.01
• 每个设备的训练批次大小（per_device_train_batch_size）：1
• 梯度累积步数（gradient_accumulation_steps）：16
• 随机种子（seed）：1
• 设备数量（num_devices）：8
• 优化器（optim）：adamw_torch
• 学习率调度器类型（lr_scheduler_type）：cosine
• 学习率调度器热身比例（lr_scheduler_warmup_ratio）：0.1
• 训练轮数（num_train_epochs）：2.0
• 最大长度（max_length）：2048
• 最大提示长度（max_prompt_length）：1800

📄 许可证

该模型遵循 Zoom 软件许可证，仅允许用于非商业、教育或学术研究目的。

🔖 引用信息

WPO

@article{zhou2024wpo,
  title={WPO: Enhancing RLHF with Weighted Preference Optimization},
  author={Zhou, Wenxuan and Agrawal, Ravi and Zhang, Shujian and Indurthi, Sathish Reddy and Zhao, Sanqiang and Song, Kaiqiang and Xu, Silei and Zhu, Chenguang},
  journal={arXiv preprint arXiv:2406.11827},
  year={2024}
}

Ultrafeedback

@article{cui2023ultrafeedback,
  title={{UltraFeedback}: Boosting language models with high-quality feedback},
  author={Cui, Ganqu and Yuan, Lifan and Ding, Ning and Yao, Guanming and Zhu, Wei and Ni, Yuan and Xie, Guotong and Liu, Zhiyuan and Sun, Maosong},
  journal={arXiv preprint arXiv:2310.01377},
  year={2023}
}

Armo - RM

@article{ArmoRM,
      title={Interpretable Preferences via Multi-Objective Reward Modeling and Mixture-of-Experts}, 
      author={Haoxiang Wang and Wei Xiong and Tengyang Xie and Han Zhao and Tong Zhang},
      journal={arXiv preprint arXiv:2406.12845},
}

@inproceedings{wang2024arithmetic,
      title={Arithmetic Control of LLMs for Diverse User Preferences: Directional Preference Alignment with Multi-Objective Rewards}, 
      author={Haoxiang Wang and Yong Lin and Wei Xiong and Rui Yang and Shizhe Diao and Shuang Qiu and Han Zhao and Tong Zhang},
      year={2024},
      booktitle={ACL},
}