Meta Llama 3.1 8B Instruct Unsloth Bnb 4bit

🚀 unsloth/Llama-3.2-3B-unsloth-bnb-4bit

Unsloth助力，让大语言模型微调速度提升2 - 5倍，内存占用降低70%！

🚀 快速开始

我们为Llama 3.2 (3B) 提供了一个免费的Google Colab Tesla T4笔记本，点击链接即可使用：Llama 3.2 (3B) Colab笔记本

✨ 主要特性

• 查看集合：查看我们的 集合，获取包括GGUF和4位格式在内的Llama 3.1版本。
• 动态4位量化：Unsloth的 动态4位量化 采用选择性量化，与标准4位量化相比，显著提高了准确性。
• 免费微调：所有笔记本都 对初学者友好！添加您的数据集，点击“全部运行”，您将获得一个速度快2倍的微调模型，该模型可以导出为GGUF、vLLM格式，或上传到Hugging Face。

📦 免费微调表格

💡 不同笔记本用途说明

• Llama 3.2对话笔记本 适用于ShareGPT ChatML / Vicuna模板。
• 文本补全笔记本 适用于原始文本。DPO笔记本 可复现Zephyr模型。
• * Kaggle有2个T4 GPU，但我们只使用1个。由于开销问题，1个T4 GPU的速度快5倍。

🌟 特别感谢

非常感谢Meta和Llama团队创建并发布这些模型。

📚 模型详细信息

Meta Llama 3.2多语言大语言模型 (LLM) 集合是一组预训练和指令微调的生成模型，有10亿和30亿参数规模（文本输入/文本输出）。Llama 3.2指令微调的纯文本模型针对多语言对话用例进行了优化，包括智能检索和摘要任务。在常见的行业基准测试中，它们的表现优于许多可用的开源和闭源聊天模型。

关于模型的问题或评论发送地址：有关如何提供对模型的反馈或评论的说明，请参阅模型 README。有关生成参数的更多技术信息以及如何在应用程序中使用Llama 3.1的方法，请参阅 此处。

📄 许可证

本项目使用 llama3.1 许可证。