Llama 3.2 90B Vision Instruct Unsloth Bnb 4bit

🚀 Unsloth微調大語言模型項目

本項目藉助Unsloth技術，可讓Llama 3.2、Gemma 2、Mistral 2等模型的微調速度提升2 - 5倍，同時減少70%的內存使用。

Unsloth的動態4位量化技術可選擇性地避免對某些參數進行量化，在保持顯存使用量與BnB 4位量化相近的情況下，大幅提高了精度。
查看我們在Hugging Face上的Unsloth量化模型全集。

我們為Llama 3.2 Vision (11B)提供了免費的Google Colab Tesla T4筆記本：點擊訪問

🚀 快速開始

對於模型的更多詳細信息，請訪問Meta的原始模型卡片。

✨ 主要特性

免費微調

所有筆記本都對初學者友好！添加您的數據集，點擊“全部運行”，您將獲得一個速度快2倍的微調模型，該模型可以導出為GGUF、vLLM格式或上傳到Hugging Face。

• 這個對話筆記本適用於ShareGPT ChatML / Vicuna模板。
• 這個文本完成筆記本適用於原始文本。這個DPO筆記本可復現Zephyr。
• * Kaggle有2個T4，但我們使用1個。由於開銷問題，1個T4快5倍。

特別感謝

非常感謝Meta和Llama團隊創建併發布這些模型。

📚 詳細文檔

模型信息

Meta Llama 3.2多語言大語言模型（LLMs）集合是一組預訓練和指令微調的生成模型，大小為1B和3B（文本輸入/文本輸出）。Llama 3.2指令微調的純文本模型針對多語言對話用例進行了優化，包括智能檢索和摘要任務。在常見的行業基準測試中，它們的表現優於許多可用的開源和閉源聊天模型。

關於模型的問題或意見發送方式，有關如何提供模型反饋或評論的說明可在模型README中找到。有關生成參數和如何在應用程序中使用Llama 3.1的更多技術信息，請訪問此處。

📄 許可證

本項目使用llama3.2許可證。