language:

• en
• fr
• de
• es
• pt
• it
• ja
• ko
• ru
• zh
• ar
• fa
• id
• ms
• ne
• pl
• ro
• sr
• sv
• tr
• uk
• vi
• hi
• bn license: apache-2.0 library_name: vllm inference: false base_model:
• mistralai/Devstral-Small-2505 extra_gated_description: >- 当社が個人データをどのように処理するかについて詳しく知りたい場合は、プライバシーポリシーをお読みください。 pipeline_tag: text2text-generation

LLMCompressorでFP8に量子化

vLLMやSGlangを使用した2x3090のようなデュアルGPUシステムで実行するのに理想的:

vllm serve bullerwins/Devstral-Small-2505-fp8 --max-model-len 16000 --host 0.0.0.0 --port 5000 -tp 2 --tokenizer_mode mistral

Devstral-Small-2505

Devstralは、Mistral AIとAll Hands AI üôåの協力のもとで構築された、ソフトウェアエンジニアリングタスクのためのエージェント型LLMです。Devstralは、コードベースの探索、複数ファイルの編集、ソフトウェアエンジニアリングエージェントの強化に優れています。このモデルはSWE-benchで驚異的なパフォーマンスを達成し、ベンチマーク結果においてオープンソースモデルとして第1位の位置を占めています。

Mistral-Small-3.1からファインチューニングされており、最大128kトークンの長いコンテキストウィンドウを持っています。コーディングエージェントとして、Devstralはテキストのみを扱い、Mistral-Small-3.1からのファインチューニング前にビジョンエンコーダーが削除されました。

専門的な能力（拡張されたコンテキスト、ドメイン固有の知識など）を必要とする企業向けに、Mistral AIがコミュニティに提供するものを超えた商用モデルをリリースする予定です。

Devstralについての詳細はブログ記事をご覧ください。

主な特徴:

• エージェント型コーディング: Devstralはエージェント型コーディングタスクに優れるように設計されており、ソフトウェアエンジニアリングエージェントに最適です。
• 軽量: わずか240億パラメータのコンパクトサイズで、単一のRTX 4090や32GB RAMのMacで実行できるほど軽量であり、ローカル展開やオンデバイス使用に適しています。
• Apache 2.0ライセンス: 商用・非商用を問わず使用および改変を許可するオープンライセンス。
• コンテキストウィンドウ: 128kトークンのコンテキストウィンドウ。
• トークナイザー: 131kの語彙サイズを持つTekkenトークナイザーを使用。