Bge Reranker Large Q4 K M GGUF

🚀 DrRos/bge-reranker-large-Q4_K_M-GGUF

このモデルは、llama.cppを使用してBAAI/bge-reranker-largeからGGUF形式に変換されました。変換にはggml.aiのGGUF-my-repoスペースを利用しています。モデルの詳細については、元のモデルカードを参照してください。

🚀 クイックスタート

このセクションでは、このモデルをllama.cppと一緒に使用する方法を説明します。

📦 インストール

llama.cppのインストール

llama.cppをbrewを通じてインストールします（MacとLinuxで動作します）。

brew install llama.cpp

💻 使用例

CLIを使用する場合

llama-cli --hf-repo DrRos/bge-reranker-large-Q4_K_M-GGUF --hf-file bge-reranker-large-q4_k_m.gguf -p "The meaning to life and the universe is"

サーバーを使用する場合

llama-server --hf-repo DrRos/bge-reranker-large-Q4_K_M-GGUF --hf-file bge-reranker-large-q4_k_m.gguf -c 2048

Llama.cppリポジトリの手順を使用する場合

1. llama.cppをGitHubからクローンします。

git clone https://github.com/ggerganov/llama.cpp

2. llama.cppフォルダに移動し、LLAMA_CURL=1フラグと他のハードウェア固有のフラグ（例：LinuxのNvidia GPUの場合はLLAMA_CUDA=1）を使用してビルドします。

cd llama.cpp && LLAMA_CURL=1 make

3. メインバイナリを通じて推論を実行します。

./llama-cli --hf-repo DrRos/bge-reranker-large-Q4_K_M-GGUF --hf-file bge-reranker-large-q4_k_m.gguf -p "The meaning to life and the universe is"

または

./llama-server --hf-repo DrRos/bge-reranker-large-Q4_K_M-GGUF --hf-file bge-reranker-large-q4_k_m.gguf -c 2048

📚 ドキュメント

モデル情報

評価結果

• モデル名: bge-reranker-base
  • タスク: Reranking
    • データセット: MTEB CMedQAv1
      • タイプ: C-MTEB/CMedQAv1-reranking
      • 設定: default
      • 分割: test
      • リビジョン: None
      • メトリクス:
        • MAP: 81.27206722525007
        • MRR: 84.14238095238095
    • データセット: MTEB CMedQAv2
      • タイプ: C-MTEB/CMedQAv2-reranking
      • 設定: default
      • 分割: test
      • リビジョン: None
      • メトリクス:
        • MAP: 84.10369934291236
        • MRR: 86.79376984126984
    • データセット: MTEB MMarcoReranking
      • タイプ: C-MTEB/Mmarco-reranking
      • 設定: default
      • 分割: dev
      • リビジョン: None
      • メトリクス:
        • MAP: 35.4600511272538
        • MRR: 34.60238095238095
    • データセット: MTEB T2Reranking
      • タイプ: C-MTEB/T2Reranking
      • 設定: default
      • 分割: dev
      • リビジョン: None
      • メトリクス:
        • MAP: 67.27728847727172
        • MRR: 77.1315192743764

📄 ライセンス

このモデルはMITライセンスの下で提供されています。