Qwen3 Embedding 0.6B W4A16 G128

🚀 Qwen3-Embedding-0.6B-W4A16-G128

本項目是對https://huggingface.co/Qwen/Qwen3-Embedding-0.6B進行GPTQ量化的成果，使用了THUIR/T2Ranking和m-a-p/COIG-CQIA作為校準集。該模型在減少顯存使用的同時，在C-MTEB上的性能有一定損失。

🚀 快速開始

安裝依賴

執行以下命令安裝所需的依賴庫：

pip install compressed-tensors optimum

同時，需要安裝 auto-gptq 或 gptqmodel。

使用方法

安裝完成後，可參考官方使用指南進行使用。

✨ 主要特性

顯存使用優化

通過GPTQ量化，顯存使用從 3228M 降低到 2124M。

性能損失評估

在C-MTEB上約有1.69%的性能損失。以下是不同模型在C-MTEB上的性能對比：

📄 許可證

本項目採用Apache-2.0許可證。