Devstral Small 2505 GGUF

🚀 Devstral-Small-2505-GGUF

このモデルは、Antigma LabsとAntigma Quantize Spaceによって作成されました。

Antigma LabsのXアカウントをフォローしましょう https://x.com/antigma_labs

AntigmaのGitHubホームページ https://github.com/AntigmaLabs

このモデルは、多言語対応のテキスト生成モデルで、vllmライブラリを使用しています。また、Apache 2.0ライセンスの下で公開されています。

🚀 クイックスタート

このモデルは、多言語のテキスト生成に対応しており、以下の言語をサポートしています。

• 英語 (en)
• フランス語 (fr)
• ドイツ語 (de)
• スペイン語 (es)
• ポルトガル語 (pt)
• イタリア語 (it)
• 日本語 (ja)
• 韓国語 (ko)
• ロシア語 (ru)
• 中国語 (zh)
• アラビア語 (ar)
• ペルシア語 (fa)
• インドネシア語 (id)
• マレー語 (ms)
• ネパール語 (ne)
• ポーランド語 (pl)
• ルーマニア語 (ro)
• セルビア語 (sr)
• スウェーデン語 (sv)
• トルコ語 (tr)
• ウクライナ語 (uk)
• ベトナム語 (vi)
• ヒンディー語 (hi)
• ベンガル語 (bn)

✨ 主な機能

• 多言語対応：20以上の言語に対応しています。
• llama.cpp量子化：llama.cppを使用して量子化されています。

📦 インストール

llama.cpp量子化

このモデルは、llama.cppのリリース b4944を使用して量子化されています。 元のモデル: https://huggingface.co/unsloth/Devstral-Small-2505 llama.cppまたは他のllama.cppベースのプロジェクトで直接実行できます。

huggingface-cliを使用したダウンロード

pip install -U "huggingface_hub[cli]"

huggingface-cli download https://huggingface.co/Antigma/Devstral-Small-2505-GGUF --include "devstral-small-2505-q2_k.gguf" --local-dir ./

huggingface-cli download https://huggingface.co/Antigma/Devstral-Small-2505-GGUF --include "devstral-small-2505-q2_k.gguf/*" --local-dir ./

💻 使用例

プロンプトフォーマット

<｜begin▁of▁sentence｜>{system_prompt}<｜User｜>{prompt}<｜Assistant｜><｜end▁of▁sentence｜><｜Assistant｜>

📚 詳細ドキュメント

ファイルのダウンロード

以下から特定のファイル（ブランチ全体ではない）をダウンロードできます。

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で公開されています。

⚠️ 重要提示

個人情報の処理方法について詳しく知りたい場合は、プライバシーポリシーをご覧ください。