Mistral Small 3.1 24B Instruct 2503 Q5 K M GGUF

🚀 Triangle104/Mistral-Small-3.1-24B-Instruct-2503-Q5_K_M-GGUF

本模型是使用llama.cpp通過ggml.ai的GGUF-my-repo空間，從mistralai/Mistral-Small-3.1-24B-Instruct-2503轉換為GGUF格式的。如需瞭解該模型的更多詳細信息，請參考原始模型卡片。

基於Mistral Small 3（2501）構建的Mistral Small 3.1（2503），增加了先進的視覺理解能力，並將長上下文處理能力提升至128k個標記，同時不影響文本處理性能。該模型擁有240億個參數，在文本和視覺任務中均具備頂級能力。此模型是Mistral-Small-3.1-24B-Base-2503的指令微調版本。

Mistral Small 3.1可以進行本地部署，並且具有極高的“知識密度”，量化後可在單張RTX 4090或配備32GB內存的MacBook上運行。

它適用於以下場景：

• 快速響應的對話式代理。
• 低延遲的函數調用。
• 通過微調實現特定領域的專家能力。
• 供愛好者和處理敏感數據的組織進行本地推理。
• 編程和數學推理。
• 長文檔理解。
• 視覺理解。

對於需要特殊能力（如增加上下文長度、特定模態、特定領域知識等）的企業，我們將發佈超出Mistral AI為社區貢獻範圍的商業模型。

🚀 快速開始

與llama.cpp一起使用

通過brew（適用於Mac和Linux）安裝llama.cpp：

brew install llama.cpp

調用llama.cpp服務器或命令行界面（CLI）。

CLI：

llama-cli --hf-repo Triangle104/Mistral-Small-3.1-24B-Instruct-2503-Q5_K_M-GGUF --hf-file mistral-small-3.1-24b-instruct-2503-q5_k_m.gguf -p "The meaning to life and the universe is"

服務器：

llama-server --hf-repo Triangle104/Mistral-Small-3.1-24B-Instruct-2503-Q5_K_M-GGUF --hf-file mistral-small-3.1-24b-instruct-2503-q5_k_m.gguf -c 2048

注意：你也可以直接按照Llama.cpp倉庫中列出的使用步驟使用此檢查點。

1. 從GitHub克隆llama.cpp：

git clone https://github.com/ggerganov/llama.cpp

2. 進入llama.cpp文件夾，並使用LLAMA_CURL=1標誌以及其他特定硬件標誌（例如，在Linux上使用Nvidia GPU時使用LLAMA_CUDA=1）進行構建：

cd llama.cpp && LLAMA_CURL=1 make

3. 通過主二進制文件運行推理：

./llama-cli --hf-repo Triangle104/Mistral-Small-3.1-24B-Instruct-2503-Q5_K_M-GGUF --hf-file mistral-small-3.1-24b-instruct-2503-q5_k_m.gguf -p "The meaning to life and the universe is"

或者

./llama-server --hf-repo Triangle104/Mistral-Small-3.1-24B-Instruct-2503-Q5_K_M-GGUF --hf-file mistral-small-3.1-24b-instruct-2503-q5_k_m.gguf -c 2048

✨ 主要特性

• 視覺能力：模型具備視覺能力，除了處理文本外，還能分析圖像並根據視覺內容提供見解。
• 多語言支持：支持多種語言，包括英語、法語、德語、希臘語、印地語、印尼語、意大利語、日語、韓語、馬來語、尼泊爾語、波蘭語、葡萄牙語、羅馬尼亞語、俄語、塞爾維亞語、西班牙語、瑞典語、土耳其語、烏克蘭語、越南語、阿拉伯語、孟加拉語、中文、波斯語。
• 以代理為中心：具備一流的代理能力，支持原生函數調用和JSON輸出。
• 高級推理：擁有先進的對話和推理能力。
• Apache 2.0許可證：開放許可證，允許商業和非商業用途的使用和修改。
• 上下文窗口：具有128k的上下文窗口。
• 系統提示：對系統提示有很強的遵循和支持能力。
• 分詞器：使用Tekken分詞器，詞彙量為131k。

📄 許可證

本項目採用Apache 2.0許可證，允許商業和非商業用途的使用和修改。

⚠️ 重要提示

如果你想了解我們如何處理你的個人數據，請閱讀我們的隱私政策。