Llama 3 2 3B SFT GGUF

🚀 Llama-3.2-3B-Instruct在自定義數據集上的微調

本項目展示了使用 Unsloth 庫對 Llama-3.2-3B-Instruct 模型進行微調的過程。該模型在自定義數據集 FineTome-100k 上進行了 60 步 的訓練。主要優化點包括：

• 4 位量化：減少內存使用
• LoRA（低秩自適應）：實現高效微調
• 提升推理速度和模型文本生成能力的技術

✨ 主要特性

模型詳情

LoRA 配置

• 秩：16
• 目標模塊：q_proj、k_proj、v_proj、o_proj、gate_proj、up_proj、down_proj
• LoRA 阿爾法值：16
• LoRA 丟棄率：0

梯度檢查點

• 使用梯度檢查點："unsloth"，用於改進長上下文訓練

訓練情況

• 數據集：FineTome-100k（選取前 500 條記錄）
• 損失函數：序列到序列任務的標準損失函數
• 訓練步數：60 步，批量大小為 2（梯度累積步數設為 4）
• 優化器：AdamW 8 位

訓練參數

• 最大序列長度：2048 個標記
• 學習率：2e-4
• 梯度累積步數：4
• 總步數：60
• 訓練輪數：1（因為 max_steps 設置為 60）
• 訓練精度：根據 GPU 支持情況，使用 FP16 或 BF16 進行訓練

性能表現

• 使用的 GPU：Tesla T4（最大內存 14.7 GB）

峰值內存使用情況

• 總預留內存：3.855 GB
• LoRA 使用的內存：1.312 GB
• 內存利用率：可用內存的 26.1%（峰值）

📚 詳細文檔

本項目展示了一種通過 LoRA 和 4 位量化 進行內存優化和提高訓練效率的高效大語言模型微調方法。Unsloth 庫支持快速訓練和推理，即使在 GPU 資源有限的情況下，這種設置也非常適合大規模任務。

📄 許可證

本項目採用 MIT 許可證。

🔗 相關鏈接

你可以點擊 此處 訪問該模型的實現筆記本。此筆記本提供了模型微調與部署的詳細步驟。