Gemma 2 9B It SPPO Iter3

🚀 Gemma-2-9B-It-SPPO-Iter3

このモデルは、自然言語処理の分野における言語モデルのアライメントを目的として開発されました。Self-Play Preference Optimizationを用いて、google/gemma-2-9b-itをベースに微調整されています。

🚀 クイックスタート

このモデルは、Self-Play Preference Optimizationの3回目の反復で開発されました。出発点としてgoogle/gemma-2-9b-itのアーキテクチャを使用しています。openbmb/UltraFeedbackデータセットのプロンプトセットを利用し、snorkelai/Snorkel-Mistral-PairRM-DPO-Datasetによって3回の反復のために3つの部分に分割しました。使用されるすべての応答は合成されたものです。

利用規約: 利用規約

🔗 他のモデルへのリンク

• Gemma-2-9B-It-SPPO-Iter1
• Gemma-2-9B-It-SPPO-Iter2
• Gemma-2-9B-It-SPPO-Iter3

📚 ドキュメント

モデルの説明

AlpacaEval Leaderboard Evaluation Results

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• learning_rate: 5e-07
• eta: 1000
• per_device_train_batch_size: 8
• gradient_accumulation_steps: 1
• seed: 42
• distributed_type: deepspeed_zero3
• num_devices: 8
• optimizer: RMSProp
• lr_scheduler_type: linear
• lr_scheduler_warmup_ratio: 0.1
• num_train_epochs: 1.0

📄 ライセンス

このモデルのライセンスは、Apache-2.0です。

📖 引用

@misc{wu2024self,
      title={Self-Play Preference Optimization for Language Model Alignment}, 
      author={Wu, Yue and Sun, Zhiqing and Yuan, Huizhuo and Ji, Kaixuan and Yang, Yiming and Gu, Quanquan},
      year={2024},
      eprint={2405.00675},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}