Multilingual E5 Large Instruct Q6 K GGUF

🚀 多语言-e5-large-instruct-Q6_K-GGUF

本项目将模型从 intfloat/multilingual-e5-large-instruct 转换为 GGUF 格式，转换过程借助 llama.cpp 并通过 ggml.ai 的 GGUF-my-repo 空间完成。你可以参考 原始模型卡片 了解该模型的更多详细信息。

🚀 快速开始

✨ 安装 llama.cpp

可以通过 brew（适用于 Mac 和 Linux）安装 llama.cpp：

brew install llama.cpp

💻 使用 llama.cpp 进行推理

可以使用 llama.cpp 的服务器模式或命令行界面（CLI）进行推理。

命令行界面（CLI）

llama-cli --hf-repo kcccat/multilingual-e5-large-instruct-Q6_K-GGUF --hf-file multilingual-e5-large-instruct-q6_k.gguf -p "The meaning to life and the universe is"

服务器模式

llama-server --hf-repo kcccat/multilingual-e5-large-instruct-Q6_K-GGUF --hf-file multilingual-e5-large-instruct-q6_k.gguf -c 2048

💡 另一种使用方式

你也可以按照 Llama.cpp 仓库中列出的 使用步骤 直接使用该检查点。

步骤 1：从 GitHub 克隆 llama.cpp

git clone https://github.com/ggerganov/llama.cpp

步骤 2：进入 llama.cpp 文件夹并进行编译

可以使用 LLAMA_CURL=1 标志以及其他特定于硬件的标志（例如，在 Linux 上使用 Nvidia GPU 时使用 LLAMA_CUDA=1）进行编译。

cd llama.cpp && LLAMA_CURL=1 make

步骤 3：通过主二进制文件运行推理

./llama-cli --hf-repo kcccat/multilingual-e5-large-instruct-Q6_K-GGUF --hf-file multilingual-e5-large-instruct-q6_k.gguf -p "The meaning to life and the universe is"

或者

./llama-server --hf-repo kcccat/multilingual-e5-large-instruct-Q6_K-GGUF --hf-file multilingual-e5-large-instruct-q6_k.gguf -c 2048

📚 详细文档

🏷️ 标签

• mteb
• sentence-transformers
• transformers
• llama-cpp
• gguf-my-repo

🌐 支持语言

• 多语言
• af
• am
• ar
• as
• az
• be
• bg
• bn
• br
• bs
• ca
• cs
• cy
• da
• de
• el
• en
• eo
• es
• et
• eu
• fa
• fi
• fr
• fy
• ga
• gd
• gl
• gu
• ha
• he
• hi
• hr
• hu
• hy
• id
• is
• it
• ja
• jv
• ka
• kk
• km
• kn
• ko
• ku
• ky
• la
• lo
• lt
• lv
• mg
• mk
• ml
• mn
• mr
• ms
• my
• ne
• nl
• 'no'
• om
• or
• pa
• pl
• ps
• pt
• ro
• ru
• sa
• sd
• si
• sk
• sl
• so
• sq
• sr
• su
• sv
• sw
• ta
• te
• th
• tl
• tr
• ug
• uk
• ur
• uz
• vi
• xh
• yi
• zh

📄 许可证

本模型采用 MIT 许可证。

📊 模型信息

📈 评估结果

模型在多个任务和数据集上进行了评估，以下是部分评估结果：

分类任务

• MTEB AmazonCounterfactualClassification (en)：准确率 76.24%，平均精度 39.07%，F1 值 70.05%
• MTEB AmazonPolarityClassification：准确率 96.29%，平均精度 94.84%，F1 值 96.29%
• MTEB AmazonReviewsClassification (en)：准确率 56.72%，F1 值 55.77%

检索任务

• MTEB ArguAna：MAP@1 31.72%，MAP@10 49.22%，MAP@100 49.88%
• MTEB CQADupstackRetrieval：MAP@1 27.76%，MAP@10 37.30%，MAP@100 38.53%

聚类任务

• MTEB ArxivClusteringP2P：V-measure 46.40%
• MTEB ArxivClusteringS2S：V-measure 40.49%

重排序任务

• MTEB AskUbuntuDupQuestions：MAP 63.89%，MRR 77.61%

语义文本相似度任务

• MTEB BIOSSES：余弦相似度皮尔逊相关系数 88.15%，余弦相似度斯皮尔曼相关系数 86.96%

双语挖掘任务

• MTEB BUCC (de-en)：准确率 99.66%，F1 值 99.61%，精度 99.58%，召回率 99.66%
• MTEB BUCC (fr-en)：准确率 99.26%，F1 值 99.15%，精度 99.09%，召回率 99.26%

更多详细的评估结果请参考文档开头的 YAML 数据部分。