Multilingual E5 Large Instruct Q5 0 GGUF

🚀 多語言-e5-large-instruct-Q5_0-GGUF

本項目將模型從 intfloat/multilingual-e5-large-instruct 轉換為 GGUF 格式，轉換借助 llama.cpp 並通過 ggml.ai 的 GGUF-my-repo 空間完成。若需瞭解模型的更多詳情，可參考 原始模型卡片。

🚀 快速開始

使用 llama.cpp

可以通過 Homebrew（適用於 Mac 和 Linux）來安裝 llama.cpp：

brew install llama.cpp

之後可以調用 llama.cpp 的服務器或命令行界面（CLI）。

命令行界面（CLI）

llama-cli --hf-repo yoeven/multilingual-e5-large-instruct-Q5_0-GGUF --hf-file multilingual-e5-large-instruct-q5_0.gguf -p "The meaning to life and the universe is"

服務器

llama-server --hf-repo yoeven/multilingual-e5-large-instruct-Q5_0-GGUF --hf-file multilingual-e5-large-instruct-q5_0.gguf -c 2048

注意：你也可以直接按照 Llama.cpp 倉庫中列出的 使用步驟 來使用此檢查點。

1. 從 GitHub 克隆 llama.cpp 倉庫：

git clone https://github.com/ggerganov/llama.cpp

2. 進入 llama.cpp 文件夾，並使用 LLAMA_CURL=1 標誌以及其他特定於硬件的標誌（例如，在 Linux 上使用英偉達 GPU 時使用 LLAMA_CUDA=1）進行編譯：

cd llama.cpp && LLAMA_CURL=1 make

3. 通過主二進制文件運行推理：

./llama-cli --hf-repo yoeven/multilingual-e5-large-instruct-Q5_0-GGUF --hf-file multilingual-e5-large-instruct-q5_0.gguf -p "The meaning to life and the universe is"

或者

./llama-server --hf-repo yoeven/multilingual-e5-large-instruct-Q5_0-GGUF --hf-file multilingual-e5-large-instruct-q5_0.gguf -c 2048

📚 詳細文檔

模型信息

支持語言

該模型支持以下多種語言： 多語言、南非語（af）、阿姆哈拉語（am）、阿拉伯語（ar）、阿薩姆語（as）、阿塞拜疆語（az）、白俄羅斯語（be）、保加利亞語（bg）、孟加拉語（bn）、布列塔尼語（br）、波斯尼亞語（bs）、加泰羅尼亞語（ca）、捷克語（cs）、威爾士語（cy）、丹麥語（da）、德語（de）、希臘語（el）、英語（en）、世界語（eo）、西班牙語（es）、愛沙尼亞語（et）、巴斯克語（eu）、波斯語（fa）、芬蘭語（fi）、法語（fr）、弗裡西亞語（fy）、愛爾蘭語（ga）、蘇格蘭蓋爾語（gd）、加利西亞語（gl）、古吉拉特語（gu）、豪薩語（ha）、希伯來語（he）、印地語（hi）、克羅地亞語（hr）、匈牙利語（hu）、亞美尼亞語（hy）、印尼語（id）、冰島語（is）、意大利語（it）、日語（ja）、爪哇語（jv）、格魯吉亞語（ka）、哈薩克語（kk）、高棉語（km）、卡納達語（kn）、韓語（ko）、庫爾德語（ku）、吉爾吉斯語（ky）、拉丁語（la）、老撾語（lo）、立陶宛語（lt）、拉脫維亞語（lv）、馬達加斯加語（mg）、馬其頓語（mk）、馬拉雅拉姆語（ml）、蒙古語（mn）、馬拉地語（mr）、馬來語（ms）、緬甸語（my）、尼泊爾語（ne）、荷蘭語（nl）、挪威語（no）、奧羅莫語（om）、奧里亞語（or）、旁遮普語（pa）、波蘭語（pl）、普什圖語（ps）、葡萄牙語（pt）、羅馬尼亞語（ro）、俄語（ru）、梵語（sa）、信德語（sd）、僧伽羅語（si）、斯洛伐克語（sk）、斯洛文尼亞語（sl）、索馬里語（so）、阿爾巴尼亞語（sq）、塞爾維亞語（sr）、巽他語（su）、瑞典語（sv）、斯瓦希里語（sw）、泰米爾語（ta）、泰盧固語（te）、泰語（th）、他加祿語（tl）、土耳其語（tr）、維吾爾語（ug）、烏克蘭語（uk）、烏爾都語（ur）、烏茲別克語（uz）、越南語（vi）、科薩語（xh）、意第緒語（yi）、中文（zh）

評估指標

該模型在多個任務和數據集上進行了評估，以下是部分評估結果：

分類任務

• MTEB AmazonCounterfactualClassification (en)
  • 準確率（accuracy）：76.23880597014924
  • 平均精度（ap）：39.07351965022687
  • F1 值（f1）：70.04836733862683
• MTEB AmazonPolarityClassification
  • 準確率（accuracy）：96.28742500000001
  • 平均精度（ap）：94.8449918887462
  • F1 值（f1）：96.28680923610432

檢索任務

• MTEB ArguAna
  • MAP@1：31.721
  • MAP@10：49.221
  • MAP@100：49.884
  • MAP@1000：49.888
  • MRR@1：32.432
  • MRR@10：49.5
  • MRR@100：50.163000000000004
  • MRR@1000：50.166
  • NDCG@1：31.721
  • NDCG@10：58.384
  • NDCG@100：61.111000000000004
  • NDCG@1000：61.187999999999995

聚類任務

• MTEB ArxivClusteringP2P
  • V-measure：46.40419580759799
• MTEB ArxivClusteringS2S
  • V-measure：40.48593255007969

重排序任務

• MTEB AskUbuntuDupQuestions
  • MAP：63.889179122289995
  • MRR：77.61146286769556

語義文本相似度任務（STS）

• MTEB BIOSSES
  • 餘弦相似度皮爾遜相關係數（cos_sim_pearson）：88.15075203727929
  • 餘弦相似度斯皮爾曼相關係數（cos_sim_spearman）：86.9622224570873
  • 歐幾里得距離皮爾遜相關係數（euclidean_pearson）：86.70473853624121
  • 歐幾里得距離斯皮爾曼相關係數（euclidean_spearman）：86.9622224570873

雙語挖掘任務

• MTEB BUCC (de-en)
  • 準確率（accuracy）：99.65553235908142
  • F1 值（f1）：99.60681976339595
  • 精度（precision）：99.58246346555325
  • 召回率（recall）：99.65553235908142

許可證

該模型使用 MIT 許可證。