Gemma 2 9b It WPO HB

🚀 加權偏好優化模型項目

本項目提出了一種新穎的策略，通過使用離線策略偏好數據模擬在線策略學習，來增強離線策略偏好優化。我們的加權偏好優化（WPO）方法通過根據當前策略下偏好對的概率對其進行重新加權，使離線策略數據更接近在線策略數據。這種方法不僅解決了分佈差距問題，還在不產生額外成本的情況下優化了優化過程。詳情請參考我們的預印本和代碼庫。

🚀 快速開始

本項目圍繞加權偏好優化（WPO）方法展開，通過特定的數據和策略對模型進行微調，以提升模型性能。下面為你詳細介紹相關信息。

✨ 主要特性

• 提出加權偏好優化（WPO）方法，利用離線策略偏好數據模擬在線策略學習，解決分佈差距問題。
• 通過重新加權偏好對，使離線策略數據更接近在線策略數據，優化過程無需額外成本。

📚 詳細文檔

模型信息

數據

gemma-2-9b-it 模型通過混合 WPO 進行微調，使用了兩種類型的數據：

1. 基於 Ultrafeedback 提示在線策略採樣的 gemma 輸出。
2. 基於 Ultrafeedback 提示的 GPT - 4 - turbo 輸出。

與論文中的偏好數據構建方法相比，我們改用 RLHFlow/ArmoRM - Llama3 - 8B - v0.1 對輸出進行評分，並選擇得分最大/最小的輸出形成偏好對。

我們在 wzhouad/gemma - 2 - ultrafeedback - hybrid 提供了訓練數據。

AlpacaEval 評估結果

其他 WPO 模型鏈接

查看我們的 WPO 集合。

訓練超參數

訓練過程中使用了以下超參數：

• 學習率（learning_rate）：1e - 06
• 貝塔（beta）：0.01
• 每個設備的訓練批次大小（per_device_train_batch_size）：1
• 梯度累積步數（gradient_accumulation_steps）：16
• 隨機種子（seed）：1
• 設備數量（num_devices）：8
• 優化器（optim）：adamw_torch
• 學習率調度器類型（lr_scheduler_type）：cosine
• 學習率調度器熱身比例（lr_scheduler_warmup_ratio）：0.1
• 訓練輪數（num_train_epochs）：2.0
• 最大長度（max_length）：2048
• 最大提示長度（max_prompt_length）：1800

📄 許可證

該模型遵循 Zoom 軟件許可證，僅允許用於非商業、教育或學術研究目的。

🔖 引用信息

WPO

@article{zhou2024wpo,
  title={WPO: Enhancing RLHF with Weighted Preference Optimization},
  author={Zhou, Wenxuan and Agrawal, Ravi and Zhang, Shujian and Indurthi, Sathish Reddy and Zhao, Sanqiang and Song, Kaiqiang and Xu, Silei and Zhu, Chenguang},
  journal={arXiv preprint arXiv:2406.11827},
  year={2024}
}

Ultrafeedback

@article{cui2023ultrafeedback,
  title={{UltraFeedback}: Boosting language models with high-quality feedback},
  author={Cui, Ganqu and Yuan, Lifan and Ding, Ning and Yao, Guanming and Zhu, Wei and Ni, Yuan and Xie, Guotong and Liu, Zhiyuan and Sun, Maosong},
  journal={arXiv preprint arXiv:2310.01377},
  year={2023}
}

Armo - RM

@article{ArmoRM,
      title={Interpretable Preferences via Multi-Objective Reward Modeling and Mixture-of-Experts}, 
      author={Haoxiang Wang and Wei Xiong and Tengyang Xie and Han Zhao and Tong Zhang},
      journal={arXiv preprint arXiv:2406.12845},
}

@inproceedings{wang2024arithmetic,
      title={Arithmetic Control of LLMs for Diverse User Preferences: Directional Preference Alignment with Multi-Objective Rewards}, 
      author={Haoxiang Wang and Yong Lin and Wei Xiong and Rui Yang and Shizhe Diao and Shuang Qiu and Han Zhao and Tong Zhang},
      year={2024},
      booktitle={ACL},
}