Llama 3 2 3B Dpo Rlhf Fine Tuning

🚀 直接嗜好最適化（DPO）による微調整言語モデル

このモデルは、直接嗜好最適化（DPO）を用いてLlama 3.2 - 3B - Instructを微調整したもので、報酬モデリングタスクに特化しています。4ビット量子化、勾配チェックポイント、パラメータ効率的微調整（PEFT）などのメモリ効率の高い手法を用いて最適化されています。言語理解、指示に基づく応答生成、嗜好に基づく応答のランキングが必要なタスクに適しています。

✨ 主な機能

• テキスト生成：指示やプロンプトに基づいて、詳細で首尾一貫したテキスト応答を生成できます。
• 嗜好ベースの最適化：ユーザーのフィードバック（選択された応答と拒否された応答）に基づいて応答をランク付けするように微調整されています。
• 長文コンテキストの処理：内部のRoPEスケーリングにより、最大2048トークンの入力を効率的に処理できます。
• 高速推論：ストリーミング機能と低レイテンシの応答を備えたリアルタイムのテキスト生成に最適化されています。

📦 インストール

依存関係のインストール

推論と微調整に必要なtorch、transformers、unslothなどのライブラリがインストールされていることを確認してください。

💻 使用例

事前学習モデルの読み込み

FastLanguageModel.from_pretrained()を使用して、モデル名と最適化設定を指定してモデルを読み込むことができます。

微調整

嗜好ペアのデータセットを使用して、PEFTと量子化戦略（例：LoRA、勾配チェックポイント）を適用して微調整を行います。

推論

FastLanguageModel.for_inference()メソッドを使用して、最適化されたテキスト生成を有効にします。これはリアルタイム出力のためのストリーミング推論をサポートしています。

📚 ドキュメント

モデルの詳細

想定される用途

このモデルは、以下の様々な自然言語処理（NLP）タスクに適用できます。

• 質問応答：ユーザーの質問に対して、詳細で文脈に沿った正確な情報を提供します。
• 指示に従う：ユーザーが定義したタスクに基づいて応答を生成します。
• 嗜好モデリング：トレーニングデータに含まれる嗜好に基づいて、異なる応答をランク付けします。
• テキスト補完：提供された指示に基づいて、部分的に与えられたテキストを補完します。

制限事項

• コンテキストの長さ：最大2048トークンを処理できますが、非常に長いテキストには追加の最適化またはトランケーションが必要になる場合があります。
• 精度：モデルの4ビット量子化により、高精度が必要な特定のエッジケースではわずかな精度の損失が生じる可能性があります。
• データセットのバイアス：嗜好ペアのラベリングに使用されたトレーニングデータセットに含まれるバイアスを反映しています。

技術的詳細

• モデルアーキテクチャ：30億のパラメータを持つLlama 3.2をベースにしています。
• トレーニング方法：直接嗜好最適化（DPO）を使用して微調整されています。
• オプティマイザー：効率化のために8ビット精度のAdamWオプティマイザーを使用しています。
• バッチサイズ：有効なバッチサイズは8（4ステップの勾配累積でデバイスごとに2）です。
• トレーニング設定：
  • 学習率：5e - 6
  • ウォームアップ比率：0.1
  • エポック数：1
  • 最大シーケンス長：2048トークン
• 混合精度トレーニング：ハードウェアに応じてFP16とBFloat16をサポートしています。

性能指標

• トレーニング損失：1.19
• トレーニング実行時間：1974.06秒（約32分）
• 1秒あたりのステップ数：0.063
• 1秒あたりのサンプル数：0.507

モデルのバージョン

• バージョン：Unsloth 2025.1.7（パッチ適用版）
• トレーニング日：2025年1月

謝辞

このモデルは、IntelとHugging Faceからのデータとツールの貢献を受け、Unslothフレームワークを使用してトレーニングされました。

ノートブック

このモデルの実装ノートブックにはこちらからアクセスできます。このノートブックでは、モデルの微調整とデプロイの詳細な手順が提供されています。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。