Gte Qwen2 7B Instruct GGUF

🚀 グテ・クエン2-7Bインストラクト・GGUFモデル

このプロジェクトは、Alibaba-NLP/gte-Qwen2-7B-instructモデルの静的量子化バージョンを提供します。

🚀 クイックスタート

このモデルの静的量子化バージョンについて、以下の情報をご提供します。

📚 ドキュメント

概要

https://huggingface.co/Alibaba-NLP/gte-Qwen2-7B-instruct の静的量子化バージョンです。現時点では、重み付き/イマトリックスの量子化バージョンは利用できません。静的量子化バージョンが公開されてから約1週間後も利用できない場合は、私が計画していない可能性があります。コミュニティディスカッションを開いてリクエストしてください。

使い方

GGUFファイルの使い方がわからない場合は、TheBlokeのREADME を参照してください。複数のパートファイルを結合する方法など、詳細な情報が記載されています。

提供される量子化バージョン

（サイズ順に並べられており、必ずしも品質順ではありません。IQ量子化は、同じサイズの非IQ量子化よりも優れていることが多いです）

ikawrakowによる、いくつかの低品質量子化タイプを比較した便利なグラフです（数値が低いほど良い）：

Artefact2によるこの問題に関する考え方はこちらです： https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

よくある質問 / モデルリクエスト

質問に対する回答や、他のモデルの量子化を希望する場合は、https://huggingface.co/mradermacher/model_requests を参照してください。

謝辞

私の会社 nethype GmbH には、サーバーの使用を許可し、ワークステーションをアップグレードして、私が余暇時間にこの作業を行えるようにしてくれたことに感謝します。また、@nicoboss には、私が彼のプライベートスーパーコンピューターを利用できるようにしてくれたことに感謝します。これにより、私は通常よりも多くのイマトリックス量子化バージョンを、はるかに高い品質で提供することができました。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。