Mistral 7B Instruct V0.3 GPTQ 8b

🚀 Mistral-7B-Instruct-v0.3-GPTQ-8b量化模型

本項目是基於 Mistral-7B-Instruct-v0.3 模型，由 IST Austria 採用 GPTQ 方法進行量化得到的模型。使用該量化模型，能在一定程度上減少模型的存儲和計算資源需求，同時保持較好的性能。

🚀 快速開始

安裝與運行

首先，安裝 vLLM，然後運行 服務：

python -m vllm.entrypoints.openai.api_server --model cortecs/Mistral-7B-Instruct-v0.3-GPTQ-8b

訪問模型

運行以下命令來訪問模型：

curl http://localhost:8000/v1/completions     -H "Content-Type: application/json"     -d ' {
        "model": "cortecs/Mistral-7B-Instruct-v0.3-GPTQ-8b",
        "prompt": "San Francisco is a"
    } '

✨ 主要特性

• 數據集：使用 wikitext 數據集。
• 量化配置：
  • 8bit 量化
  • Act order: True
  • Group size: 128

📚 詳細文檔

評估結果

評估說明：

• 未檢查數據汙染情況。
• 評估使用 Eval. Harness，並設置 limit=1000。

性能表現

性能測試在 cortecs inference 上進行。