Smaug 34B V0.1

🚀 Smaug-34B-v0.1

このモデルは、jondurbin氏の優れたbagelモデルをファインチューニングしたものです。このモデルでは、何らかのマージ手法は使用されていません。

私たちは、新しいファインチューニング手法であるDPO-Positive (DPOP) と、ARC、HellaSwag、MetaMathの新しいペアワイズ嗜好バージョン（および他の既存のデータセット）を使用して、Smaug-34B-v0.1を作成しました。新しい論文「https://arxiv.org/abs/2402.13228」で、この手法と完全なトレーニングの詳細を紹介しています。

私たちは、ペアの完了間の編集距離が低いデータセット（数学ベースのデータセットなど）では、標準的なDPO損失が、好ましいクラスと好ましくないクラスの相対確率が増加する限り、好ましい例のモデルの尤度を低下させる可能性があることを示しています。これらの知見をもとに、この失敗モードを回避する新しい損失関数とトレーニング手順であるDPOPを設計しました。驚くべきことに、DPOPは、完了間の編集距離が高いデータセットを含む、幅広いデータセットと下流タスクでDPOを上回ることもわかりました。

私たちは、この新しいアプローチが幅広いモデルタイプと下流のユースケースのトレーニングに一般的に有用であり、すべてのSmaugモデルの基盤となっていると考えています。論文とデータセットを公開することで、オープンソースコミュニティがSmaugをさらに発展させ、LLMの分野を席巻する新たなモデルを生み出すことを楽しみにしています！

✨ 主な機能

• jondurbin氏のbagelモデルをベースにファインチューニング。
• 新しいファインチューニング手法であるDPO-Positive (DPOP) を使用。
• 新しいペアワイズ嗜好バージョンのARC、HellaSwag、MetaMathなどのデータセットを利用。
• DPOPは幅広いデータセットと下流タスクでDPOを上回る性能を示す。

📚 ドキュメント

評価結果

汚染結果

参照モデル jondurbin/bagel-34b-v0.2 を使用した場合:

引用

このリポジトリのデータ、モデル、または手法を使用する場合は、以下の論文を引用してください。

@article{pal2024smaug,
  title={Smaug: Fixing Failure Modes of Preference Optimisation with DPO-Positive},
  author={Pal, Arka and Karkhanis, Deep and Dooley, Samuel and Roberts, Manley and Naidu, Siddartha and White, Colin},
  journal={arXiv preprint arXiv:2402.13228},
  year={2024}
}

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。