Llama 3.2 1B Instruct GGUF

🚀 [MaziyarPanahi/Llama-3.2-1B-Instruct-GGUF]

本项目包含meta-llama/Llama-3.2-1B-Instruct的GGUF格式模型文件，提供更广泛的支持和更好的性能。

🚀 快速开始

本项目提供了meta-llama/Llama-3.2-1B-Instruct模型的GGUF格式文件。以下是相关信息：

• 模型创建者：meta-llama
• 原始模型：meta-llama/Llama-3.2-1B-Instruct

✨ 主要特性

关于GGUF

GGUF是llama.cpp团队在2023年8月21日推出的一种新格式，它取代了不再受llama.cpp支持的GGML格式。

以下是已知支持GGUF的客户端和库的不完全列表：

• llama.cpp：GGUF的源项目，提供命令行界面和服务器选项。
• llama-cpp-python：一个支持GPU加速、LangChain集成和OpenAI兼容API服务器的Python库。
• LM Studio：一款适用于Windows和macOS（Silicon）的易用且强大的本地图形界面，支持GPU加速。截至2023年11月27日，Linux版本处于测试阶段。
• text-generation-webui：最广泛使用的Web界面，具有众多功能和强大的扩展，支持GPU加速。
• KoboldCpp：一个功能齐全的Web界面，支持所有平台和GPU架构的GPU加速，尤其适合讲故事。
• GPT4All：一个免费开源的本地运行图形界面，支持Windows、Linux和macOS，并提供全面的GPU加速。
• LoLLMS Web UI：一个很棒的Web界面，具有许多有趣和独特的功能，包括一个完整的模型库，便于选择模型。
• Faraday.dev：一个美观易用的基于角色的聊天图形界面，适用于Windows和macOS（Silicon和Intel），支持GPU加速。
• candle：一个专注于性能的Rust机器学习框架，支持GPU并易于使用。
• ctransformers：一个支持GPU加速、LangChain集成和OpenAI兼容AI服务器的Python库。截至编写本文时（2023年11月27日），ctransformers已有很长时间未更新，不支持许多最新模型。

📚 详细文档

特别感谢

特别感谢Georgi Gerganov和整个llama.cpp团队，是他们让这一切成为可能。

标签信息