Llama 3 2 3B SFT GGUF

🚀 Llama-3.2-3B-Instructのカスタムデータセットでのファインチューニング

このリポジトリは、Unslothライブラリを使用してLlama-3.2-3B-Instructモデルをファインチューニングするプロセスを示しています。このモデルは、FineTome-100kというカスタムデータセットで60ステップ訓練されています。主な最適化手法は以下の通りです。

• メモリ使用量を削減するための4-bit量子化
• 効率的なファインチューニングのためのLoRA (Low-Rank Adaptation)
• 推論速度の向上とモデルによるテキスト生成のための手法

📚 ドキュメント

モデルの詳細

LoRA設定

• ランク: 16
• 対象モジュール:
  • q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
• LoRAアルファ: 16
• LoRAドロップアウト: 0

勾配チェックポイント

• 勾配チェックポイントの使用: 長文脈訓練の改善のための"unsloth"

訓練

• データセット: FineTome-100k（最初の500レコードが選択されました）
• 損失関数: シーケンス-to-シーケンスタスクの標準的な損失関数
• 訓練ステップ: バッチサイズ2で60ステップ（勾配累積ステップは4に設定）
• オプティマイザ: AdamW 8-bit

訓練パラメータ

• 最大シーケンス長: 2048トークン
• 学習率: 2e-4
• 勾配累積ステップ: 4
• 総ステップ数: 60
• エポック数: 1（max_stepsが60に設定されたため）
• 訓練精度: GPUのサポートに応じて、訓練にFP16またはBF16を使用

🔧 技術詳細

パフォーマンス

• 使用したGPU: Tesla T4（最大メモリ14.7 GB）

ピークメモリ使用量

• 総予約メモリ: 3.855 GB
• LoRAに使用されるメモリ: 1.312 GB
• メモリ使用率: 利用可能メモリの26.1%（ピーク）

まとめ

このノートブックは、LoRAと4-bit量子化を使用して、メモリの最適化と訓練効率の向上を図りながら、大規模言語モデルを効率的にファインチューニングするアプローチを紹介しています。Unslothライブラリを使用することで、高速な訓練と推論が可能になり、限られたGPUリソースでも大規模なタスクに適した設定となっています。

ノートブック

このモデルの実装ノートブックには、こちらからアクセスできます。このノートブックでは、モデルのファインチューニングとデプロイの詳細な手順が提供されています。

📄 ライセンス

MITライセンスの下で公開されています。