Colbertv2.0 GGUF

🚀 ColBERTv2.0 静的量子化モデル

このプロジェクトは、https://huggingface.co/lightonai/colbertv2.0 の静的量子化バージョンを提供します。主に文の類似度計算や特徴抽出などのタスクに使用できます。

🚀 クイックスタート

概要

このモデルは、https://huggingface.co/lightonai/colbertv2.0 の静的量子化バージョンです。現在、重み付き/イマトリックス量子化は利用できない可能性があります。もし静的量子化の公開から約1週間後も利用できない場合は、計画されていない可能性があります。コミュニティディスカッションを開いてリクエストすることができます。

利用方法

GGUFファイルの使い方がわからない場合は、TheBlokeのREADME を参照してください。ここには、マルチパートファイルの結合方法も含め、詳細な情報が記載されています。

📦 提供される量子化モデル

（サイズ順に並べられており、必ずしも品質を表すわけではありません。IQ量子化は、同じサイズの非IQ量子化よりも優れていることが多いです）

ikawrakowによる低品質量子化タイプの比較グラフです（数値が低いほど良い）：

Artefact2によるこの問題に関する考察はこちら： https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

📚 よくある質問とモデルリクエスト

質問に対する回答や、他のモデルの量子化を依頼する場合は、https://huggingface.co/mradermacher/model_requests を参照してください。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

謝辞

私の会社である nethype GmbH に感謝します。彼らは、私がサーバーを使用し、仕事のワークステーションをアップグレードすることを許可し、私が余暇時間にこの作業を行うことを可能にしてくれました。