Multilingual E5 Large Instruct Q3 K S GGUF

🚀 多語言-e5-large-instruct-Q3_K_S-GGUF模型

本模型是通過llama.cpp，藉助ggml.ai的GGUF-my-repo空間，從intfloat/multilingual-e5-large-instruct轉換為GGUF格式的。有關該模型的更多詳細信息，請參考原始模型卡片。

🚀 快速開始

✨ 主要特性

• 支持多語言，涵蓋了眾多語言類型，如英語、中文、日語等。
• 基於intfloat/multilingual-e5-large-instruct模型轉換而來，保留了原模型的核心能力。
• 以GGUF格式呈現，便於與llama.cpp進行集成使用。

📦 安裝指南

通過Homebrew（適用於Mac和Linux）安裝llama.cpp：

brew install llama.cpp

💻 使用示例

基礎用法

使用llama.cpp的命令行界面（CLI）進行推理：

llama-cli --hf-repo yoeven/multilingual-e5-large-instruct-Q3_K_S-GGUF --hf-file multilingual-e5-large-instruct-q3_k_s.gguf -p "The meaning to life and the universe is"

高級用法

啟動llama.cpp服務器進行推理：

llama-server --hf-repo yoeven/multilingual-e5-large-instruct-Q3_K_S-GGUF --hf-file multilingual-e5-large-instruct-q3_k_s.gguf -c 2048

另外，你也可以按照Llama.cpp倉庫中列出的使用步驟直接使用該檢查點：

# 步驟1: 從GitHub克隆llama.cpp
git clone https://github.com/ggerganov/llama.cpp

# 步驟2: 進入llama.cpp文件夾並使用`LLAMA_CURL=1`標誌以及其他特定硬件標誌進行編譯（例如，在Linux上使用Nvidia GPU時使用LLAMA_CUDA=1）
cd llama.cpp && LLAMA_CURL=1 make

# 步驟3: 通過主二進制文件運行推理
./llama-cli --hf-repo yoeven/multilingual-e5-large-instruct-Q3_K_S-GGUF --hf-file multilingual-e5-large-instruct-q3_k_s.gguf -p "The meaning to life and the universe is"

或者

./llama-server --hf-repo yoeven/multilingual-e5-large-instruct-Q3_K_S-GGUF --hf-file multilingual-e5-large-instruct-q3_k_s.gguf -c 2048

🔧 技術細節

本模型基於intfloat/multilingual-e5-large-instruct基礎模型，通過llama.cpp和ggml.ai的GGUF-my-repo空間轉換為GGUF格式。GGUF格式是一種高效的模型存儲和使用格式，能夠與llama.cpp很好地集成，提供了命令行界面和服務器兩種使用方式，方便用戶根據不同的場景進行推理操作。

📄 許可證

本模型遵循MIT許可證。

模型信息表格

模型評估結果

本模型在多個數據集上進行了評估，涵蓋了分類、檢索、聚類、重排序等多種任務，以下是部分評估結果展示：

分類任務

檢索任務

聚類任務

重排序任務

語義文本相似度任務（STS）

雙語挖掘任務

以上僅展示了部分評估結果，完整結果可參考文檔開頭的詳細數據部分。這些結果展示了模型在不同任務和數據集上的性能表現，為用戶瞭解模型能力提供了參考。