Mistral Small 3.1 24B Instruct 2503 Q5 K M GGUF

🚀 Triangle104/Mistral-Small-3.1-24B-Instruct-2503-Q5_K_M-GGUF

このモデルは、llama.cppを使用してggml.aiのGGUF-my-repoスペース経由で、mistralai/Mistral-Small-3.1-24B-Instruct-2503からGGUF形式に変換されました。モデルの詳細については、元のモデルカードを参照してください。

Mistral Small 3 (2501)をベースに、Mistral Small 3.1 (2503)は最先端のビジョン理解機能を追加し、テキスト性能を損なうことなく、コンテキストの長さを最大128kトークンまで拡張しています。240億のパラメータを持つこのモデルは、テキストとビジョンの両方のタスクでトップクラスの性能を発揮します。このモデルは、Mistral-Small-3.1-24B-Base-2503を命令微調整したバージョンです。

Mistral Small 3.1はローカルでデプロイ可能で、量子化すると、単一のRTX 4090または32GB RAMのMacBookに収まるほど「知識が密集」しています。

以下の用途に最適です:

• 高速応答の会話エージェント。
• 低レイテンシの関数呼び出し。
• 微調整による専門家。
• 嗜好家や機密データを扱う組織のためのローカル推論。
• プログラミングと数学的推論。
• 長文書理解。
• ビジョン理解。

特殊な機能（コンテキストの拡張、特定のモダリティ、ドメイン固有の知識など）を必要とする企業向けに、Mistral AIがコミュニティに提供するもの以上の商用モデルをリリースする予定です。

✨ 主な機能

• ビジョン：ビジョン機能により、モデルは画像を分析し、テキストに加えて視覚コンテンツに基づく洞察を提供できます。
• 多言語対応：英語、フランス語、ドイツ語、ギリシャ語、ヒンディー語、インドネシア語、イタリア語、日本語、韓国語、マレー語、ネパール語、ポーランド語、ポルトガル語、ルーマニア語、ロシア語、セルビア語、スペイン語、スウェーデン語、トルコ語、ウクライナ語、ベトナム語、アラビア語、ベンガル語、中国語、ファルシ語など、数十の言語をサポートします。
• エージェント中心：ネイティブの関数呼び出しとJSON出力を備えた最高水準のエージェント機能を提供します。
• 高度な推論：最先端の会話と推論機能を備えています。
• Apache 2.0ライセンス：商用および非商用目的での使用と変更を許可するオープンライセンスです。
• コンテキストウィンドウ：128kのコンテキストウィンドウを持ちます。
• システムプロンプト：システムプロンプトに対する強力な準拠とサポートを維持します。
• トークナイザー：語彙サイズ131kのTekkenトークナイザーを使用しています。

📦 インストール

llama.cppを使用する場合

llama.cppをbrewを通じてインストールします（MacとLinuxで動作します）

brew install llama.cpp

llama.cppサーバーまたはCLIを起動します。

CLI:

llama-cli --hf-repo Triangle104/Mistral-Small-3.1-24B-Instruct-2503-Q5_K_M-GGUF --hf-file mistral-small-3.1-24b-instruct-2503-q5_k_m.gguf -p "The meaning to life and the universe is"

サーバー:

llama-server --hf-repo Triangle104/Mistral-Small-3.1-24B-Instruct-2503-Q5_K_M-GGUF --hf-file mistral-small-3.1-24b-instruct-2503-q5_k_m.gguf -c 2048

注: Llama.cppリポジトリに記載されている使用手順を直接使用することもできます。

ステップ1: llama.cppをGitHubからクローンします。

git clone https://github.com/ggerganov/llama.cpp

ステップ2: llama.cppフォルダに移動し、LLAMA_CURL=1フラグとその他のハードウェア固有のフラグ（例: LinuxのNvidia GPUの場合はLLAMA_CUDA=1）を使用してビルドします。

cd llama.cpp && LLAMA_CURL=1 make

ステップ3: メインバイナリを通じて推論を実行します。

./llama-cli --hf-repo Triangle104/Mistral-Small-3.1-24B-Instruct-2503-Q5_K_M-GGUF --hf-file mistral-small-3.1-24b-instruct-2503-q5_k_m.gguf -p "The meaning to life and the universe is"

または

./llama-server --hf-repo Triangle104/Mistral-Small-3.1-24B-Instruct-2503-Q5_K_M-GGUF --hf-file mistral-small-3.1-24b-instruct-2503-q5_k_m.gguf -c 2048

📄 ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。このオープンライセンスにより、商用および非商用目的での使用と変更が許可されます。

⚠️ 重要提示

個人情報の処理方法について詳しく知りたい場合は、プライバシーポリシーをご覧ください。