Opensearch Neural Sparse Encoding Doc V2 Distill GGUF

🚀 オープンサーチニューラルスパースエンコーディングドキュメントv2ディスティルモデル

このモデルは、学習済みのスパースエンコーディングを用いた情報検索や文書拡張などのタスクに適しています。静的量子化されたバージョンを提供しています。

🚀 クイックスタート

このモデルに関する便利な概要とダウンロードリストについては、このモデルのモデルページをご覧ください。

📚 ドキュメント

概要

https://huggingface.co/opensearch-project/opensearch-neural-sparse-encoding-doc-v2-distill の静的量子化バージョンです。現時点では、重み付け/イマトリックス量子化は利用できないようです。静的量子化バージョンが公開されてから約1週間後も利用できない場合、私が計画していない可能性があります。必要な場合は、コミュニティディスカッションを開いてリクエストしてください。

使用方法

GGUFファイルの使い方がわからない場合は、TheBlokeのREADMEを参照してください。ここには、マルチパートファイルの結合方法も含まれています。

提供される量子化バージョン

（サイズ順に並べられており、必ずしも品質の順ではありません。IQ量子化は、同じサイズの非IQ量子化よりも優れていることが多いです）

ikawrakowによるいくつかの低品質量子化タイプを比較した便利なグラフを以下に示します（数値が低いほど良い）：

また、Artefact2によるこの問題に関する考察はこちらです： https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

よくある質問とモデルリクエスト

よくある質問への回答や、他のモデルの量子化を希望する場合は、https://huggingface.co/mradermacher/model_requests を参照してください。

謝辞

私の会社であるnethype GmbHに感謝します。彼らは、私がサーバーを使用し、業務外の時間にこの作業を行えるようにワークステーションをアップグレードしてくれました。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。