Slide Bge Reranker V2 M3 GGUF

🚀 slide-bge-reranker-v2-m3 量子化バージョン

このプロジェクトは、https://huggingface.co/Menghuan1918/slide-bge-reranker-v2-m3 の静的量子化バージョンを提供します。

📚 詳細説明

https://huggingface.co/Menghuan1918/slide-bge-reranker-v2-m3 の静的量子化バージョンです。

現時点では、重み付き/インマトリックス量子化は利用できない可能性があります。静的量子化バージョンが公開されてから約1週間後にまだ表示されない場合は、私が計画していない可能性があります。コミュニティディスカッションを開いてリクエストしてください。

💻 使用例

GGUFファイルの使用方法がわからない場合は、TheBlokeのREADMEを参照してください。複数のパートファイルを結合する方法など、詳細な情報が記載されています。

📦 提供される量子化バージョン

（サイズ順に並べられており、必ずしも品質順ではありません。IQ量子化は同じサイズの非IQ量子化よりも優れていることが多いです）

ikawrakowによるいくつかの低品質量子化タイプを比較した便利なグラフです（値が低いほど良い）：

また、Artefact2によるこの問題に関する考察もあります： https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

❓ FAQ / モデルリクエスト

質問に対する回答や他のモデルの量子化を希望する場合は、https://huggingface.co/mradermacher/model_requests を参照してください。

🙏 謝辞

私の会社であるnethype GmbHに感謝します。サーバーの使用を許可し、ワークステーションのアップグレードを提供してくれたおかげで、私は余暇時間にこの作業を行うことができました。