🚀 DrRos/bge-reranker-large-Q4_K_M-GGUF
本模型是通過 llama.cpp 並藉助 ggml.ai 的 GGUF-my-repo 空間,將 BAAI/bge-reranker-large
模型轉換為 GGUF 格式。有關該模型的更多詳細信息,請參考 原始模型卡片。
🚀 快速開始
本模型可與 llama.cpp 結合使用,以下是具體的使用步驟。
📦 安裝指南
通過 brew 安裝 llama.cpp(適用於 Mac 和 Linux):
brew install llama.cpp
💻 使用示例
基礎用法
CLI 方式
llama-cli --hf-repo DrRos/bge-reranker-large-Q4_K_M-GGUF --hf-file bge-reranker-large-q4_k_m.gguf -p "The meaning to life and the universe is"
Server 方式
llama-server --hf-repo DrRos/bge-reranker-large-Q4_K_M-GGUF --hf-file bge-reranker-large-q4_k_m.gguf -c 2048
高級用法
你也可以直接按照 Llama.cpp 倉庫中列出的 使用步驟 來使用此檢查點。
步驟 1:從 GitHub 克隆 llama.cpp
git clone https://github.com/ggerganov/llama.cpp
步驟 2:進入 llama.cpp 文件夾並使用 LLAMA_CURL=1
標誌以及其他特定硬件標誌進行編譯(例如,在 Linux 上使用英偉達 GPU 時可使用 LLAMA_CUDA=1
)
cd llama.cpp && LLAMA_CURL=1 make
步驟 3:通過主二進制文件運行推理
./llama-cli --hf-repo DrRos/bge-reranker-large-Q4_K_M-GGUF --hf-file bge-reranker-large-q4_k_m.gguf -p "The meaning to life and the universe is"
或者
./llama-server --hf-repo DrRos/bge-reranker-large-Q4_K_M-GGUF --hf-file bge-reranker-large-q4_k_m.gguf -c 2048
📚 詳細文檔
模型信息
屬性 |
詳情 |
模型類型 |
特徵提取 |
基礎模型 |
BAAI/bge-reranker-large |
許可證 |
MIT |
模型評估結果
任務類型 |
數據集名稱 |
數據集類型 |
數據集分割 |
MAP 值 |
MRR 值 |
重排序 |
MTEB CMedQAv1 |
C-MTEB/CMedQAv1-reranking |
測試集 |
81.27206722525007 |
84.14238095238095 |
重排序 |
MTEB CMedQAv2 |
C-MTEB/CMedQAv2-reranking |
測試集 |
84.10369934291236 |
86.79376984126984 |
重排序 |
MTEB MMarcoReranking |
C-MTEB/Mmarco-reranking |
開發集 |
35.4600511272538 |
34.60238095238095 |
重排序 |
MTEB T2Reranking |
C-MTEB/T2Reranking |
開發集 |
67.27728847727172 |
77.1315192743764 |
📄 許可證
本項目採用 MIT 許可證。