Qwen3 Embedding 0.6B W4A16 G128

🚀 Qwen3-Embedding-0.6B-W4A16-G128

このプロジェクトは、https://huggingface.co/Qwen/Qwen3-Embedding-0.6BをGPTQ量子化した成果物です。THUIR/T2Rankingとm-a-p/COIG-CQIAを校正セットとして使用しています。このモデルは、メモリ使用量を削減する一方で、C-MTEBでの性能に若干の損失があります。

🚀 クイックスタート

依存関係のインストール

以下のコマンドを実行して、必要な依存ライブラリをインストールしてください。

pip install compressed-tensors optimum

同時に、auto-gptqまたはgptqmodelをインストールする必要があります。

使用方法

インストールが完了したら、公式の使用ガイドを参考に使用してください。

✨ 主な機能

メモリ使用量の最適化

GPTQ量子化により、メモリ使用量が3228Mから2124Mに削減されました。

性能損失の評価

C-MTEBでは約1.69%の性能損失があります。以下は、C-MTEBにおける異なるモデルの性能比較です。

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で提供されています。