Mistral 7B Instruct V0.3 GPTQ 4bit

🚀 Mistral-7B-Instruct-v0.3 4bit量子化モデル

このプロジェクトは、Mistral-7B-Instruct-v0.3 をGPTQを用いて4bitに量子化したモデルを提供します。量子化により、モデルのサイズを大幅に削減しつつ、元のモデルに近い精度を維持することができます。

📦 モデル情報

📊 評価スコア

Open LLM Leaderboard評価スコア

💻 使用例

基本的な使用法

このモデルは、vLLMのMarlin混合精度カーネルを使用した最適化推論に対応しています。以下のコマンドで推論サーバを起動できます。

python -m vllm.entrypoints.openai.api_server --model neuralmagic/Mistral-7B-Instruct-v0.3-GPTQ-4bit

推論性能の可視化

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。