Gte Qwen2 1.5B Instruct GGUF

🚀 gte-Qwen2-1.5B-instruct 静的量子化モデル

このプロジェクトはAlibaba-NLP/gte-Qwen2-1.5B-instructの静的量子化モデルを提供します。モデルの使用方法や提供される量子化タイプについて説明しています。

🚀 クイックスタート

このモデルはAlibaba-NLP/gte-Qwen2-1.5B-instructの静的量子化バージョンです。以下に、このモデルに関する基本的な情報をまとめます。

📚 ドキュメント

概要

https://huggingface.co/Alibaba-NLP/gte-Qwen2-1.5B-instruct の静的量子化モデルです。現時点では、重み付き/インマトリックス量子化は利用できない可能性があります。静的量子化モデルが公開されてから約1週間後にまだ利用できない場合、私はそれらを計画していない可能性があります。コミュニティディスカッションを開いてリクエストすることができます。

使用方法

GGUFファイルの使用方法がわからない場合は、TheBlokeのREADME を参照してください。ここには、マルチパートファイルの結合方法などの詳細が記載されています。

提供される量子化モデル

（サイズでソートされており、必ずしも品質を表しているわけではありません。IQ量子化は同程度のサイズの非IQ量子化よりも優れていることが多いです）

ikawrakowによる低品質量子化タイプの比較グラフです（数値が低いほど良い）：

Artefact2によるこの問題に関する考察： https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

よくある質問とモデルリクエスト

質問に対する回答や他のモデルの量子化を希望する場合は、モデルリクエストページ を参照してください。

謝辞

私の会社 nethype GmbH に感謝します。彼らは私にサーバーの使用を許可し、ワークステーションのアップグレードを提供してくれたおかげで、私は余暇時間にこの作業を行うことができました。