Llama 3 Instruct 8B SPPO Iter3

🚀 Llama-3-Instruct-8B-SPPO-Iter3

本模型基於 meta-llama/Meta-Llama-3-8B-Instruct 架構，採用 Self-Play Preference Optimization 方法在第三次迭代中開發而成。它使用了 openbmb/UltraFeedback 數據集中的提示集，並通過 snorkelai/Snorkel-Mistral-PairRM-DPO-Dataset 分割為 3 部分用於 3 次迭代。所有使用的回覆均為合成數據。

🚀 快速開始

本模型可在 Hugging Face 平臺上使用，你可以根據自己的需求進行調用和微調。

✨ 主要特性

• 基於先進的 Self-Play Preference Optimization 方法進行微調。
• 使用合成數據集進行訓練，提升模型的泛化能力。
• 在多個評估基準上取得了優異的成績。

📚 詳細文檔

模型描述

其他模型鏈接

• Llama-3-Instruct-8B-SPPO-Iter1
• Llama-3-Instruct-8B-SPPO-Iter2
• Llama-3-Instruct-8B-SPPO-Iter3

AlpacaEval 排行榜評估結果

Open LLM 排行榜評估結果

結果使用 lm-evaluation-harness v0.4.1 報告。

Open LLM 排行榜 2 評估結果

詳細結果可查看 此處。

訓練超參數

訓練過程中使用了以下超參數：

• 學習率：5e-07
• eta：1000
• 每個設備的訓練批次大小：8
• 梯度累積步數：1
• 隨機種子：42
• 分佈式類型：deepspeed_zero3
• 設備數量：8
• 優化器：RMSProp
• 學習率調度器類型：線性
• 學習率調度器熱身比例：0.1
• 訓練輪數：6.0（在第 1.0 輪停止）

🔧 技術細節

本模型基於 Self-Play Preference Optimization 方法進行微調，該方法通過自我博弈和偏好優化來提升模型的對齊能力。模型在合成數據集上進行訓練，以提高其泛化能力。

📄 許可證

本模型採用 Apache-2.0 許可證。

引用

@misc{wu2024self,
      title={Self-Play Preference Optimization for Language Model Alignment}, 
      author={Wu, Yue and Sun, Zhiqing and Yuan, Huizhuo and Ji, Kaixuan and Yang, Yiming and Gu, Quanquan},
      year={2024},
      eprint={2405.00675},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}