Qwen3 Embedding 8B W4A16 G128

🚀 Qwen3-Embedding-8B-W4A16-G128

本項目是對Qwen3-Embedding-8B進行GPTQ量化的成果，使用了THUIR/T2Ranking和m-a-p/COIG-CQIA作為校準集。

✨ 主要特性

• 降低顯存使用：將顯存使用量從超過24G降至19624M，使得該模型能夠在3090/4090顯卡上運行（不使用FA2）。
• 性能損失較小：在C - MTEB測試中，性能損失約為0.81%。

📦 安裝指南

執行以下命令進行安裝：

pip install compressed-tensors optimum

同時，還需要安裝auto - gptq或gptqmodel。

💻 使用示例

安裝完成後，請參考官方使用指南進行使用。

📚 詳細文檔

性能對比

以下是該模型與其他模型在C - MTEB測試中的性能對比：

📄 許可證

本項目採用Apache - 2.0許可證。