Llama 3.2 3B Instruct Unsloth Bnb 4bit

🚀 unsloth/Llama-3.2-3B-unsloth-bnb-4bit

本項目藉助 Unsloth 實現大語言模型（LLM）的微調加速，速度提升 2 - 5 倍，同時減少 70% 的內存使用。提供免費的 Google Colab Tesla T4 筆記本供 Llama 3.2 (3B) 使用。

🚀 快速開始

我們為 Llama 3.2 (3B) 準備了一個免費的 Google Colab Tesla T4 筆記本，鏈接如下： https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Llama3.1_(8B)-Alpaca.ipynb

✨ 主要特性

免費微調

所有筆記本都對初學者友好！你只需添加數據集，點擊“全部運行”，就能得到一個速度快 2 倍的微調模型，該模型可導出為 GGUF、vLLM 格式，或上傳到 Hugging Face。

• 這個 Llama 3.2 對話筆記本 適用於 ShareGPT ChatML / Vicuna 模板。
• 這個 文本完成筆記本 適用於原始文本。這個 DPO 筆記本 可復現 Zephyr。
• * Kaggle 有 2 個 T4，但我們只用 1 個。由於開銷問題，1 個 T4 快 5 倍。

特別感謝

非常感謝 Meta 和 Llama 團隊創建併發布這些模型。

📚 詳細文檔

模型信息

Meta Llama 3.2 多語言大語言模型（LLM）集合是一系列預訓練和指令微調的生成模型，大小為 1B 和 3B（文本輸入/文本輸出）。Llama 3.2 指令微調的純文本模型針對多語言對話用例進行了優化，包括智能檢索和摘要任務。在常見的行業基準測試中，它們的表現優於許多現有的開源和閉源聊天模型。

有關模型的問題或建議，請參考模型 README 中的說明。如需瞭解更多關於生成參數的技術信息以及如何在應用程序中使用 Llama 3.1 的方法，請訪問 此處。

其他說明

• 查看 我們的集合，獲取包括 GGUF 和 4 位格式在內的 Llama 3.2 版本。
• Unsloth 的 動態 4 位量化 是選擇性量化的，與標準 4 位量化相比，大大提高了準確性。