🚀 djuna/jina-embeddings-v2-base-en-Q5_K_M-GGUF
該模型是使用llama.cpp通過ggml.ai的GGUF-my-repo空間,從jinaai/jina-embeddings-v2-base-en
轉換為GGUF格式的。有關該模型的更多詳細信息,請參考原始模型卡片。
🚀 快速開始
與llama.cpp一起使用
通過brew(適用於Mac和Linux)安裝llama.cpp:
brew install llama.cpp
調用llama.cpp服務器或CLI。
CLI:
llama-cli --hf-repo djuna/jina-embeddings-v2-base-en-Q5_K_M-GGUF --hf-file jina-embeddings-v2-base-en-q5_k_m.gguf -p "The meaning to life and the universe is"
服務器:
llama-server --hf-repo djuna/jina-embeddings-v2-base-en-Q5_K_M-GGUF --hf-file jina-embeddings-v2-base-en-q5_k_m.gguf -c 2048
注意:您也可以直接通過Llama.cpp倉庫中列出的使用步驟使用此檢查點。
步驟1:從GitHub克隆llama.cpp。
git clone https://github.com/ggerganov/llama.cpp
步驟2:進入llama.cpp文件夾,並使用LLAMA_CURL=1
標誌以及其他特定於硬件的標誌(例如,在Linux上使用Nvidia GPU時使用LLAMA_CUDA=1
)進行構建。
cd llama.cpp && LLAMA_CURL=1 make
步驟3:通過主二進制文件運行推理。
./llama-cli --hf-repo djuna/jina-embeddings-v2-base-en-Q5_K_M-GGUF --hf-file jina-embeddings-v2-base-en-q5_k_m.gguf -p "The meaning to life and the universe is"
或者
./llama-server --hf-repo djuna/jina-embeddings-v2-base-en-Q5_K_M-GGUF --hf-file jina-embeddings-v2-base-en-q5_k_m.gguf -c 2048
📦 安裝指南
通過brew安裝llama.cpp:
brew install llama.cpp
💻 使用示例
基礎用法
llama-cli --hf-repo djuna/jina-embeddings-v2-base-en-Q5_K_M-GGUF --hf-file jina-embeddings-v2-base-en-q5_k_m.gguf -p "The meaning to life and the universe is"
高級用法
llama-server --hf-repo djuna/jina-embeddings-v2-base-en-Q5_K_M-GGUF --hf-file jina-embeddings-v2-base-en-q5_k_m.gguf -c 2048
📚 詳細文檔
模型信息
屬性 |
詳情 |
基礎模型 |
jinaai/jina-embeddings-v2-base-en |
數據集 |
allenai/c4 |
語言 |
英語 |
許可證 |
apache-2.0 |
標籤 |
sentence-transformers、feature-extraction、sentence-similarity、mteb、llama-cpp、gguf-my-repo |
推理 |
否 |
模型評估結果
該模型在多個任務和數據集上進行了評估,以下是部分評估結果:
分類任務
數據集 |
準確率 |
AP |
F1 |
MTEB AmazonCounterfactualClassification (en) |
74.73134328358209 |
37.765427081831035 |
68.79367444339518 |
MTEB AmazonPolarityClassification |
88.544275 |
84.61328675662887 |
88.51879035862375 |
MTEB AmazonReviewsClassification (en) |
45.263999999999996 |
- |
43.778759656699435 |
... |
... |
... |
... |
檢索任務
數據集 |
MAP@1 |
MAP@10 |
MAP@100 |
... |
MTEB ArguAna |
21.693 |
35.487 |
36.862 |
... |
MTEB CQADupstackAndroidRetrieval |
31.391999999999996 |
42.597 |
44.07 |
... |
... |
... |
... |
... |
... |
聚類任務
數據集 |
V-measure |
MTEB ArxivClusteringP2P |
45.39242428696777 |
MTEB ArxivClusteringS2S |
36.675626784714 |
... |
... |
重排序任務
數據集 |
MAP |
MRR |
MTEB AskUbuntuDupQuestions |
62.247725694904034 |
74.91359978894604 |
MTEB StackOverflowDupQuestions |
52.04862593471896 |
52.97238402936932 |
... |
... |
... |
語義文本相似度任務
數據集 |
餘弦相似度皮爾遜相關係數 |
餘弦相似度斯皮爾曼相關係數 |
... |
MTEB BIOSSES |
82.68003802970496 |
81.23438110096286 |
... |
MTEB SICK-R |
84.96178184892842 |
79.6487740813199 |
... |
... |
... |
... |
... |
使用注意事項
⚠️ 重要提示
可以直接通過Llama.cpp倉庫中列出的使用步驟使用此檢查點。
💡 使用建議
在使用服務器時,可以根據需要調整上下文長度參數-c
。