🚀 magicunicorn/mxbai-embed-large-v1-Q8_0-GGUF
本模型是使用llama.cpp,通過ggml.ai的 GGUF-my-repo 空間,從 mixedbread-ai/mxbai-embed-large-v1
轉換為GGUF格式的。有關該模型的更多詳細信息,請參考 原始模型卡片。
🚀 快速開始
📦 安裝指南
通過brew(適用於Mac和Linux)安裝llama.cpp:
brew install llama.cpp
💻 使用示例
基礎用法
調用llama.cpp的服務器或命令行界面(CLI)。
CLI方式:
llama-cli --hf-repo magicunicorn/mxbai-embed-large-v1-Q8_0-GGUF --hf-file mxbai-embed-large-v1-q8_0.gguf -p "The meaning to life and the universe is"
服務器方式:
llama-server --hf-repo magicunicorn/mxbai-embed-large-v1-Q8_0-GGUF --hf-file mxbai-embed-large-v1-q8_0.gguf -c 2048
高級用法
你也可以直接通過Llama.cpp倉庫中列出的 使用步驟 來使用此檢查點。
步驟1:從GitHub克隆llama.cpp:
git clone https://github.com/ggerganov/llama.cpp
步驟2:進入llama.cpp文件夾,並使用 LLAMA_CURL=1
標誌以及其他特定於硬件的標誌(例如,在Linux上使用Nvidia GPU時使用 LLAMA_CUDA=1
)進行編譯:
cd llama.cpp && LLAMA_CURL=1 make
步驟3:通過主二進制文件運行推理:
./llama-cli --hf-repo magicunicorn/mxbai-embed-large-v1-Q8_0-GGUF --hf-file mxbai-embed-large-v1-q8_0.gguf -p "The meaning to life and the universe is"
或者
./llama-server --hf-repo magicunicorn/mxbai-embed-large-v1-Q8_0-GGUF --hf-file mxbai-embed-large-v1-q8_0.gguf -c 2048
📚 詳細文檔
模型信息
屬性 |
詳情 |
模型類型 |
特徵提取 |
基礎模型 |
mixedbread-ai/mxbai-embed-large-v1 |
庫名稱 |
sentence-transformers |
許可證 |
Apache-2.0 |
語言 |
英語 |
模型評估結果
模型 mxbai-angle-large-v1
在多個數據集上進行了評估,涵蓋了分類、檢索、聚類、重排序、語義文本相似度(STS)、成對分類、摘要等多種任務。以下是部分評估結果的展示:
分類任務
數據集名稱 |
準確率 |
F1值 |
MTEB AmazonCounterfactualClassification (en) |
75.044776119403 |
68.92736573359774 |
MTEB AmazonPolarityClassification |
93.84025000000001 |
93.8297833897293 |
MTEB AmazonReviewsClassification (en) |
49.184 |
48.74163227751588 |
... |
... |
... |
檢索任務
數據集名稱 |
MAP@1 |
MAP@10 |
MRR@1 |
MRR@10 |
MTEB ArguAna |
41.252 |
57.778 |
41.679 |
57.92699999999999 |
MTEB CQADupstackAndroidRetrieval |
32.745999999999995 |
43.632 |
39.485 |
49.537 |
MTEB FEVER |
75.424 |
83.435 |
81.113 |
87.77199999999999 |
... |
... |
... |
... |
... |
聚類任務
數據集名稱 |
V-measure |
MTEB ArxivClusteringP2P |
48.97294504317859 |
MTEB ArxivClusteringS2S |
42.98071077674629 |
MTEB BiorxivClusteringP2P |
39.91773608582761 |
... |
... |
重排序任務
數據集名稱 |
MAP |
MRR |
MTEB AskUbuntuDupQuestions |
65.16477858490782 |
78.23583080508287 |
MTEB StackOverflowDupQuestions |
55.217701909036286 |
56.17658995416349 |
... |
... |
... |
語義文本相似度(STS)任務
數據集名稱 |
餘弦相似度皮爾遜相關係數 |
餘弦相似度斯皮爾曼相關係數 |
MTEB BIOSSES |
89.6277629421789 |
88.4056288400568 |
MTEB SICK-R |
87.71506247604255 |
82.91813463738802 |
MTEB STS12 |
87.43772054228462 |
78.75750601716682 |
... |
... |
... |
成對分類任務
數據集名稱 |
餘弦相似度準確率 |
餘弦相似度F1值 |
MTEB SprintDuplicateQuestions |
99.87326732673267 |
93.6318407960199 |
MTEB TwitterSemEval2015 |
87.58419264469214 |
71.49673530889001 |
MTEB TwitterURLCorpus |
89.09069740365584 |
78.36863452005407 |
... |
... |
... |
摘要任務
數據集名稱 |
餘弦相似度皮爾遜相關係數 |
餘弦相似度斯皮爾曼相關係數 |
MTEB SummEval |
30.954206018888453 |
32.71062599450096 |
以上僅展示了部分評估結果,完整的評估結果可參考原始文檔中的詳細記錄。這些結果反映了模型在不同任務和數據集上的性能表現,為模型的應用和改進提供了重要的參考依據。