Multilingual E5 Large Instruct Q3 K S GGUF

🚀 多语言-e5-large-instruct-Q3_K_S-GGUF模型

本模型是通过llama.cpp，借助ggml.ai的GGUF-my-repo空间，从intfloat/multilingual-e5-large-instruct转换为GGUF格式的。有关该模型的更多详细信息，请参考原始模型卡片。

🚀 快速开始

✨ 主要特性

• 支持多语言，涵盖了众多语言类型，如英语、中文、日语等。
• 基于intfloat/multilingual-e5-large-instruct模型转换而来，保留了原模型的核心能力。
• 以GGUF格式呈现，便于与llama.cpp进行集成使用。

📦 安装指南

通过Homebrew（适用于Mac和Linux）安装llama.cpp：

brew install llama.cpp

💻 使用示例

基础用法

使用llama.cpp的命令行界面（CLI）进行推理：

llama-cli --hf-repo yoeven/multilingual-e5-large-instruct-Q3_K_S-GGUF --hf-file multilingual-e5-large-instruct-q3_k_s.gguf -p "The meaning to life and the universe is"

高级用法

启动llama.cpp服务器进行推理：

llama-server --hf-repo yoeven/multilingual-e5-large-instruct-Q3_K_S-GGUF --hf-file multilingual-e5-large-instruct-q3_k_s.gguf -c 2048

另外，你也可以按照Llama.cpp仓库中列出的使用步骤直接使用该检查点：

# 步骤1: 从GitHub克隆llama.cpp
git clone https://github.com/ggerganov/llama.cpp

# 步骤2: 进入llama.cpp文件夹并使用`LLAMA_CURL=1`标志以及其他特定硬件标志进行编译（例如，在Linux上使用Nvidia GPU时使用LLAMA_CUDA=1）
cd llama.cpp && LLAMA_CURL=1 make

# 步骤3: 通过主二进制文件运行推理
./llama-cli --hf-repo yoeven/multilingual-e5-large-instruct-Q3_K_S-GGUF --hf-file multilingual-e5-large-instruct-q3_k_s.gguf -p "The meaning to life and the universe is"

或者

./llama-server --hf-repo yoeven/multilingual-e5-large-instruct-Q3_K_S-GGUF --hf-file multilingual-e5-large-instruct-q3_k_s.gguf -c 2048

🔧 技术细节

本模型基于intfloat/multilingual-e5-large-instruct基础模型，通过llama.cpp和ggml.ai的GGUF-my-repo空间转换为GGUF格式。GGUF格式是一种高效的模型存储和使用格式，能够与llama.cpp很好地集成，提供了命令行界面和服务器两种使用方式，方便用户根据不同的场景进行推理操作。

📄 许可证

本模型遵循MIT许可证。

模型信息表格

模型评估结果

本模型在多个数据集上进行了评估，涵盖了分类、检索、聚类、重排序等多种任务，以下是部分评估结果展示：

分类任务

检索任务

聚类任务

重排序任务

语义文本相似度任务（STS）

双语挖掘任务

以上仅展示了部分评估结果，完整结果可参考文档开头的详细数据部分。这些结果展示了模型在不同任务和数据集上的性能表现，为用户了解模型能力提供了参考。