Llama 3.2 3B Instruct Abliterated GGUF

🚀 [MaziyarPanahi/Llama-3.2-3B-Instruct-abliterated-GGUF]

该项目提供了huihui-ai/Llama-3.2-3B-Instruct-abliterated模型的GGUF格式文件，方便用户使用和部署。

🚀 快速开始

本项目的模型文件可用于文本生成任务，适用于多种支持GGUF格式的客户端和库。

✨ 主要特性

• 多比特量化：支持2-bit、3-bit、4-bit、5-bit、6-bit、8-bit量化，可根据需求选择合适的量化方式。
• GGUF格式：采用最新的GGUF格式，替代不再被llama.cpp支持的GGML格式。
• 广泛支持：可在多个客户端和库中使用，如llama.cpp、llama-cpp-python、LM Studio等。

📦 模型信息

📚 详细文档

关于GGUF

GGUF是llama.cpp团队在2023年8月21日推出的新格式，它是GGML的替代方案，目前llama.cpp已不再支持GGML格式。

以下是已知支持GGUF的客户端和库的不完全列表：

• llama.cpp：GGUF的源项目，提供命令行界面和服务器选项。
• llama-cpp-python：一个支持GPU加速、LangChain集成和OpenAI兼容API服务器的Python库。
• LM Studio：一个易于使用且功能强大的本地GUI，支持Windows和macOS（Silicon），具备GPU加速功能。截至2023年11月27日，Linux版本处于测试阶段。
• text-generation-webui：最广泛使用的Web UI，具有许多功能和强大的扩展，支持GPU加速。
• KoboldCpp：一个功能齐全的Web UI，支持所有平台和GPU架构的GPU加速，尤其适合故事创作。
• GPT4All：一个免费开源的本地运行GUI，支持Windows、Linux和macOS，具备完整的GPU加速功能。
• LoLLMS Web UI：一个很棒的Web UI，具有许多有趣和独特的功能，包括一个完整的模型库，方便模型选择。
• Faraday.dev：一个有吸引力且易于使用的基于角色的聊天GUI，支持Windows和macOS（Silicon和Intel），具备GPU加速功能。
• candle：一个注重性能的Rust机器学习框架，支持GPU，易于使用。
• ctransformers：一个支持GPU加速、LangChain集成和OpenAI兼容AI服务器的Python库。截至2023年11月27日，ctransformers已有很长时间未更新，不支持许多近期的模型。

📄 特别感谢

特别感谢Georgi Gerganov和llama.cpp团队的所有成员，是他们让这一切成为可能。