🚀 xinming0111/bge-reranker-base-Q8_0-GGUF
本模型是使用llama.cpp通過ggml.ai的GGUF-my-repo空間,從BAAI/bge-reranker-base
轉換為GGUF格式的。有關該模型的更多詳細信息,請參考原始模型卡片。
🚀 快速開始
✨ 主要特性
- 模型標籤:mteb、text-embeddings-inference、llama-cpp、gguf-my-repo
- 任務類型:文本分類
- 使用庫:sentence-transformers
- 基礎模型:BAAI/bge-reranker-base
📦 安裝指南
通過brew安裝llama.cpp(適用於Mac和Linux)
brew install llama.cpp
💻 使用示例
基礎用法
可以通過命令行界面(CLI)或服務器模式使用該模型。
CLI模式:
llama-cli --hf-repo xinming0111/bge-reranker-base-Q8_0-GGUF --hf-file bge-reranker-base-q8_0.gguf -p "The meaning to life and the universe is"
服務器模式:
llama-server --hf-repo xinming0111/bge-reranker-base-Q8_0-GGUF --hf-file bge-reranker-base-q8_0.gguf -c 2048
高級用法
你也可以直接按照Llama.cpp倉庫中列出的使用步驟使用此檢查點。
步驟1:從GitHub克隆llama.cpp倉庫。
git clone https://github.com/ggerganov/llama.cpp
步驟2:進入llama.cpp文件夾,並使用LLAMA_CURL=1
標誌以及其他特定硬件標誌(例如,在Linux上使用Nvidia GPU時使用LLAMA_CUDA=1
)進行編譯。
cd llama.cpp && LLAMA_CURL=1 make
步驟3:通過主二進制文件運行推理。
./llama-cli --hf-repo xinming0111/bge-reranker-base-Q8_0-GGUF --hf-file bge-reranker-base-q8_0.gguf -p "The meaning to life and the universe is"
或者
./llama-server --hf-repo xinming0111/bge-reranker-base-Q8_0-GGUF --hf-file bge-reranker-base-q8_0.gguf -c 2048
📚 詳細文檔
模型指標
任務類型 |
數據集名稱 |
數據集類型 |
數據集分割 |
MAP值 |
MRR值 |
重排序 |
MTEB CMedQAv1 |
C-MTEB/CMedQAv1-reranking |
測試集 |
81.27206722525007 |
84.14238095238095 |
重排序 |
MTEB CMedQAv2 |
C-MTEB/CMedQAv2-reranking |
測試集 |
84.10369934291236 |
86.79376984126984 |
重排序 |
MTEB MMarcoReranking |
C-MTEB/Mmarco-reranking |
開發集 |
35.4600511272538 |
34.60238095238095 |
重排序 |
MTEB T2Reranking |
C-MTEB/T2Reranking |
開發集 |
67.27728847727172 |
77.1315192743764 |
📄 許可證
本模型使用MIT許可證。