Mxbai Rerank Large V2 GGUF

🚀 mixedbread-ai/mxbai-rerank-large-v2 - GGUF

このリポジトリには、mixedbread-ai/mxbai-rerank-large-v2 のGGUF形式のモデルファイルが含まれています。

これらのファイルは、TensorBlock が提供するマシンを使用して量子化されており、コミットb4882 以降のllama.cppと互換性があります。

🚀 クイックスタート

このリポジトリには、mixedbread-ai/mxbai-rerank-large-v2 のGGUF形式のモデルファイルが含まれています。これらのファイルは、TensorBlock が提供するマシンを使用して量子化され、特定のllama.cppのコミット以降と互換性があります。

✨ 主な機能

• 提供されるモデルファイルはGGUF形式で、特定のllama.cppのバージョンと互換性があります。
• 複数の量子化バージョンのモデルファイルが用意されており、サイズと品質のバランスを選択できます。

📦 インストール

コマンドライン

まず、Huggingface Clientをインストールします。

pip install -U "huggingface_hub[cli]"

次に、個々のモデルファイルをローカルディレクトリにダウンロードします。

huggingface-cli download tensorblock/mxbai-rerank-large-v2-GGUF --include "mxbai-rerank-large-v2-Q2_K.gguf" --local-dir MY_LOCAL_DIR

パターンを指定して複数のモデルファイルをダウンロードする場合は、以下のコマンドを試してください。

huggingface-cli download tensorblock/mxbai-rerank-large-v2-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

📚 ドキュメント

当社のプロジェクト

プロジェクト	説明
Awesome MCP Servers	Model Context Protocol (MCP) サーバーの包括的なコレクションです。 👀 成果を見る 👀
TensorBlock Studio	軽量でオープンかつ拡張可能なマルチLLMインタラクションスタジオです。 👀 成果を見る 👀

プロンプトテンプレート

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

モデルファイル仕様

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で提供されています。