Qwen3 Embedding 0.6B W4A16 G128

🚀 Qwen3-Embedding-0.6B-W4A16-G128

本项目是对https://huggingface.co/Qwen/Qwen3-Embedding-0.6B进行GPTQ量化的成果，使用了THUIR/T2Ranking和m-a-p/COIG-CQIA作为校准集。该模型在减少显存使用的同时，在C-MTEB上的性能有一定损失。

🚀 快速开始

安装依赖

执行以下命令安装所需的依赖库：

pip install compressed-tensors optimum

同时，需要安装 auto-gptq 或 gptqmodel。

使用方法

安装完成后，可参考官方使用指南进行使用。

✨ 主要特性

显存使用优化

通过GPTQ量化，显存使用从 3228M 降低到 2124M。

性能损失评估

在C-MTEB上约有1.69%的性能损失。以下是不同模型在C-MTEB上的性能对比：

📄 许可证

本项目采用Apache-2.0许可证。