Mistral 7B Instruct V0.3 GPTQ 8b

🚀 Mistral-7B-Instruct-v0.3-GPTQ-8b モデル

このモデルは、IST Austriaによって開発されたGPTQを使用して、Mistral-7B-Instruct-v0.3を量子化したモデルです。使用されたデータセットはwikitextです。

🚀 クイックスタート

このモデルを使用するには、まず必要な環境をセットアップする必要があります。

📦 インストール

vLLMをインストールし、サーバーを起動します。

python -m vllm.entrypoints.openai.api_server --model cortecs/Mistral-7B-Instruct-v0.3-GPTQ-8b

💻 使用例

基本的な使用法

モデルにアクセスするには、以下のコマンドを実行します。

curl http://localhost:8000/v1/completions     -H "Content-Type: application/json"     -d ' {
        "model": "cortecs/Mistral-7B-Instruct-v0.3-GPTQ-8b",
        "prompt": "San Francisco is a"
    } '

📚 ドキュメント

モデル構成

このモデルは以下の構成で量子化されています。

評価結果

以下は、いくつかの言語と安全性に関する評価結果です。評価はEval. Harnessを使用し、limit=1000で行われました。

英語

フランス語

ドイツ語

イタリア語

安全性

スペイン語

パフォーマンス

以下は、cortecs inferenceで測定されたパフォーマンス結果です。

⚠️ 重要提示

データの汚染については確認していません。