Mistral Small 3.1 24B Instruct 2503 GGUF

🚀 Mistral-Small-3.1-24B-Instruct-2503-GGUF

このモデルは、画像とテキストを入力としてテキストを出力するモデルです。多言語に対応しており、様々な用途で利用できます。

🚀 クイックスタート

オリジナルモデル

mistralai/Mistral-Small-3.1-24B-Instruct-2503

LlamaEdgeでの実行

• LlamaEdgeバージョン: v0.16.13 以上

プロンプトテンプレート

• チャット
  • プロンプトタイプ: mistral-small-chat
  • プロンプト文字列

    <s>[SYSTEM_PROMPT]<system prompt>[/SYSTEM_PROMPT][INST]<user message>[/INST]<assistant response></s>[INST]<user message>[/INST]
    

• チャット + ツール使用
  • プロンプトタイプ: mistral-small-tool
  • プロンプト文字列

    <s>[INST] {user_message_1}[/INST][TOOL_CALLS] [{tool_call_1},{tool_call_2}]</s>[TOOL_RESULTS] {tool_result_1}[/TOOL_RESULTS] {assistant_message_1}</s>[AVAILABLE_TOOLS] [{tool_1},{tool_2}][/AVAILABLE_TOOLS][INST] {system_message}<0x0A><0x0A>{user_message_2}[/INST]
    

コンテキストサイズ

32000

LlamaEdgeサービスとして実行

• チャット

  wasmedge --dir .:. --nn-preload default:GGML:AUTO:Mistral-Small-3.1-24B-Instruct-2503-Q5_K_M.gguf \
      llama-api-server.wasm \
      --prompt-template mistral-small-chat \
      --ctx-size 32000 \
      --model-name Mistral-Small
  

• チャット + ツール使用

  wasmedge --dir .:. --nn-preload default:GGML:AUTO:Mistral-Small-3.1-24B-Instruct-2503-Q5_K_M.gguf \
      llama-api-server.wasm \
      --prompt-template mistral-small-tool \
      --ctx-size 32000 \
      --model-name Mistral-Small
  

LlamaEdgeコマンドアプリとして実行

• チャット

  wasmedge --dir .:. --nn-preload default:GGML:AUTO:Mistral-Small-3.1-24B-Instruct-2503-Q5_K_M.gguf \
    llama-chat.wasm \
    --prompt-template mistral-small-chat \
    --ctx-size 32000
  

📚 ドキュメント

量子化されたGGUFモデル

llama.cpp b4944で量子化されています。

📄 ライセンス

Apache-2.0ライセンスの下で提供されています。