Mistral Small 3.1 24B Instruct 2503 GGUF

🚀 Mistral-Small-3.1-24B-Instruct-2503-GGUF

Mistral-Small-3.1-24B-Instruct-2503-GGUF 是一個經過量化處理的模型，支持多語言，可通過 LlamaEdge 運行，適用於圖像文本到文本的任務。

🚀 快速開始

原模型

原模型為 mistralai/Mistral-Small-3.1-24B-Instruct-2503。

使用 LlamaEdge 運行

• LlamaEdge 版本：需使用 v0.16.13 及以上版本。
• 提示模板
  • 聊天模式
    • 提示類型：mistral-small-chat
    • 提示字符串

<s>[SYSTEM_PROMPT]<system prompt>[/SYSTEM_PROMPT][INST]<user message>[/INST]<assistant response></s>[INST]<user message>[/INST]

- **聊天 + 工具使用模式**
    - **提示類型**：`mistral-small-tool`
    - **提示字符串**

<s>[INST] {user_message_1}[/INST][TOOL_CALLS] [{tool_call_1},{tool_call_2}]</s>[TOOL_RESULTS] {tool_result_1}[/TOOL_RESULTS] {assistant_message_1}</s>[AVAILABLE_TOOLS] [{tool_1},{tool_2}][/AVAILABLE_TOOLS][INST] {system_message}<0x0A><0x0A>{user_message_2}[/INST]

• 上下文大小：32000
• 作為 LlamaEdge 服務運行
  • 聊天模式

wasmedge --dir .:. --nn-preload default:GGML:AUTO:Mistral-Small-3.1-24B-Instruct-2503-Q5_K_M.gguf \
    llama-api-server.wasm \
    --prompt-template mistral-small-chat \
    --ctx-size 32000 \
    --model-name Mistral-Small

- **聊天 + 工具使用模式**

wasmedge --dir .:. --nn-preload default:GGML:AUTO:Mistral-Small-3.1-24B-Instruct-2503-Q5_K_M.gguf \
    llama-api-server.wasm \
    --prompt-template mistral-small-tool \
    --ctx-size 32000 \
    --model-name Mistral-Small

• 作為 LlamaEdge 命令行應用運行
  • 聊天模式

wasmedge --dir .:. --nn-preload default:GGML:AUTO:Mistral-Small-3.1-24B-Instruct-2503-Q5_K_M.gguf \
  llama-chat.wasm \
  --prompt-template mistral-small-chat \
  --ctx-size 32000

💻 量化後的 GGUF 模型

注意：這些模型使用 llama.cpp b4944 進行量化處理。

📄 許可證

本模型採用 Apache-2.0 許可證。