Mistral Small 3.1 24B Instruct 2503 Q5 K M GGUF

🚀 Triangle104/Mistral-Small-3.1-24B-Instruct-2503-Q5_K_M-GGUF

本模型是使用llama.cpp通过ggml.ai的GGUF-my-repo空间，从mistralai/Mistral-Small-3.1-24B-Instruct-2503转换为GGUF格式的。如需了解该模型的更多详细信息，请参考原始模型卡片。

基于Mistral Small 3（2501）构建的Mistral Small 3.1（2503），增加了先进的视觉理解能力，并将长上下文处理能力提升至128k个标记，同时不影响文本处理性能。该模型拥有240亿个参数，在文本和视觉任务中均具备顶级能力。此模型是Mistral-Small-3.1-24B-Base-2503的指令微调版本。

Mistral Small 3.1可以进行本地部署，并且具有极高的“知识密度”，量化后可在单张RTX 4090或配备32GB内存的MacBook上运行。

它适用于以下场景：

• 快速响应的对话式代理。
• 低延迟的函数调用。
• 通过微调实现特定领域的专家能力。
• 供爱好者和处理敏感数据的组织进行本地推理。
• 编程和数学推理。
• 长文档理解。
• 视觉理解。

对于需要特殊能力（如增加上下文长度、特定模态、特定领域知识等）的企业，我们将发布超出Mistral AI为社区贡献范围的商业模型。

🚀 快速开始

与llama.cpp一起使用

通过brew（适用于Mac和Linux）安装llama.cpp：

brew install llama.cpp

调用llama.cpp服务器或命令行界面（CLI）。

CLI：

llama-cli --hf-repo Triangle104/Mistral-Small-3.1-24B-Instruct-2503-Q5_K_M-GGUF --hf-file mistral-small-3.1-24b-instruct-2503-q5_k_m.gguf -p "The meaning to life and the universe is"

服务器：

llama-server --hf-repo Triangle104/Mistral-Small-3.1-24B-Instruct-2503-Q5_K_M-GGUF --hf-file mistral-small-3.1-24b-instruct-2503-q5_k_m.gguf -c 2048

注意：你也可以直接按照Llama.cpp仓库中列出的使用步骤使用此检查点。

1. 从GitHub克隆llama.cpp：

git clone https://github.com/ggerganov/llama.cpp

2. 进入llama.cpp文件夹，并使用LLAMA_CURL=1标志以及其他特定硬件标志（例如，在Linux上使用Nvidia GPU时使用LLAMA_CUDA=1）进行构建：

cd llama.cpp && LLAMA_CURL=1 make

3. 通过主二进制文件运行推理：

./llama-cli --hf-repo Triangle104/Mistral-Small-3.1-24B-Instruct-2503-Q5_K_M-GGUF --hf-file mistral-small-3.1-24b-instruct-2503-q5_k_m.gguf -p "The meaning to life and the universe is"

或者

./llama-server --hf-repo Triangle104/Mistral-Small-3.1-24B-Instruct-2503-Q5_K_M-GGUF --hf-file mistral-small-3.1-24b-instruct-2503-q5_k_m.gguf -c 2048

✨ 主要特性

• 视觉能力：模型具备视觉能力，除了处理文本外，还能分析图像并根据视觉内容提供见解。
• 多语言支持：支持多种语言，包括英语、法语、德语、希腊语、印地语、印尼语、意大利语、日语、韩语、马来语、尼泊尔语、波兰语、葡萄牙语、罗马尼亚语、俄语、塞尔维亚语、西班牙语、瑞典语、土耳其语、乌克兰语、越南语、阿拉伯语、孟加拉语、中文、波斯语。
• 以代理为中心：具备一流的代理能力，支持原生函数调用和JSON输出。
• 高级推理：拥有先进的对话和推理能力。
• Apache 2.0许可证：开放许可证，允许商业和非商业用途的使用和修改。
• 上下文窗口：具有128k的上下文窗口。
• 系统提示：对系统提示有很强的遵循和支持能力。
• 分词器：使用Tekken分词器，词汇量为131k。

📄 许可证

本项目采用Apache 2.0许可证，允许商业和非商业用途的使用和修改。

⚠️ 重要提示

如果你想了解我们如何处理你的个人数据，请阅读我们的隐私政策。