Multilingual E5 Large Instruct Q5 K M GGUF

🚀 JHJHJHJHJ/multilingual - e5 - large - instruct - Q5_K_M - GGUF

本模型是通过llama.cpp，借助ggml.ai的GGUF - my - repo空间，从intfloat/multilingual-e5-large-instruct转换为GGUF格式的。有关该模型的更多详细信息，请参考原始模型卡片。

🚀 快速开始

✨ 主要特性

此模型支持多语言，涵盖了众多语言类型，如英语、中文、日语等，并且在多种自然语言处理任务上有相应的评估指标，包括分类、检索、聚类等任务。

📦 安装指南

使用brew安装llama.cpp（适用于Mac和Linux）

brew install llama.cpp

💻 使用示例

基础用法

使用llama.cpp的命令行界面（CLI）进行推理：

llama-cli --hf-repo JHJHJHJHJ/multilingual-e5-large-instruct-Q5_K_M-GGUF --hf-file multilingual-e5-large-instruct-q5_k_m.gguf -p "The meaning to life and the universe is"

高级用法

使用llama.cpp的服务器模式进行推理：

llama-server --hf-repo JHJHJHJHJ/multilingual-e5-large-instruct-Q5_K_M-GGUF --hf-file multilingual-e5-large-instruct-q5_k_m.gguf -c 2048

另一种使用方式

步骤1：从GitHub克隆llama.cpp

git clone https://github.com/ggerganov/llama.cpp

步骤2：进入llama.cpp文件夹并使用LLAMA_CURL = 1标志以及其他特定硬件标志进行编译（例如，在Linux上使用Nvidia GPU时使用LLAMA_CUDA = 1）

cd llama.cpp && LLAMA_CURL=1 make

步骤3：通过主二进制文件运行推理

使用命令行界面（CLI）：

./llama-cli --hf-repo JHJHJHJHJ/multilingual-e5-large-instruct-Q5_K_M-GGUF --hf-file multilingual-e5-large-instruct-q5_k_m.gguf -p "The meaning to life and the universe is"

或者使用服务器模式：

./llama-server --hf-repo JHJHJHJHJ/multilingual-e5-large-instruct-Q5_K_M-GGUF --hf-file multilingual-e5-large-instruct-q5_k_m.gguf -c 2048

📚 详细文档

该模型在众多自然语言处理任务上有详细的评估结果，以下是部分任务的评估指标表格：

📄 许可证

该模型使用的许可证为MIT许可证。

🔧 技术细节

此模型基于intfloat/multilingual-e5-large-instruct基础模型转换而来，借助llama.cpp和ggml.ai的GGUF - my - repo空间完成格式转换。在转换过程中，确保了模型在多种语言和任务上的性能得以保留，并且通过不同的评估指标对模型在各个任务上的表现进行了详细的评估，以验证其有效性和准确性。