Qwen3 Embedding 8B W4A16 G128

🚀 Qwen3-Embedding-8B-W4A16-G128

本项目是对Qwen3-Embedding-8B进行GPTQ量化的成果，使用了THUIR/T2Ranking和m-a-p/COIG-CQIA作为校准集。

✨ 主要特性

• 降低显存使用：将显存使用量从超过24G降至19624M，使得该模型能够在3090/4090显卡上运行（不使用FA2）。
• 性能损失较小：在C - MTEB测试中，性能损失约为0.81%。

📦 安装指南

执行以下命令进行安装：

pip install compressed-tensors optimum

同时，还需要安装auto - gptq或gptqmodel。

💻 使用示例

安装完成后，请参考官方使用指南进行使用。

📚 详细文档

性能对比

以下是该模型与其他模型在C - MTEB测试中的性能对比：

📄 许可证

本项目采用Apache - 2.0许可证。