Multilingual E5 Large Instruct Q5 K M GGUF

🚀 JHJHJHJHJ/multilingual - e5 - large - instruct - Q5_K_M - GGUF

本模型是通過llama.cpp，藉助ggml.ai的GGUF - my - repo空間，從intfloat/multilingual-e5-large-instruct轉換為GGUF格式的。有關該模型的更多詳細信息，請參考原始模型卡片。

🚀 快速開始

✨ 主要特性

此模型支持多語言，涵蓋了眾多語言類型，如英語、中文、日語等，並且在多種自然語言處理任務上有相應的評估指標，包括分類、檢索、聚類等任務。

📦 安裝指南

使用brew安裝llama.cpp（適用於Mac和Linux）

brew install llama.cpp

💻 使用示例

基礎用法

使用llama.cpp的命令行界面（CLI）進行推理：

llama-cli --hf-repo JHJHJHJHJ/multilingual-e5-large-instruct-Q5_K_M-GGUF --hf-file multilingual-e5-large-instruct-q5_k_m.gguf -p "The meaning to life and the universe is"

高級用法

使用llama.cpp的服務器模式進行推理：

llama-server --hf-repo JHJHJHJHJ/multilingual-e5-large-instruct-Q5_K_M-GGUF --hf-file multilingual-e5-large-instruct-q5_k_m.gguf -c 2048

另一種使用方式

步驟1：從GitHub克隆llama.cpp

git clone https://github.com/ggerganov/llama.cpp

步驟2：進入llama.cpp文件夾並使用LLAMA_CURL = 1標誌以及其他特定硬件標誌進行編譯（例如，在Linux上使用Nvidia GPU時使用LLAMA_CUDA = 1）

cd llama.cpp && LLAMA_CURL=1 make

步驟3：通過主二進制文件運行推理

使用命令行界面（CLI）：

./llama-cli --hf-repo JHJHJHJHJ/multilingual-e5-large-instruct-Q5_K_M-GGUF --hf-file multilingual-e5-large-instruct-q5_k_m.gguf -p "The meaning to life and the universe is"

或者使用服務器模式：

./llama-server --hf-repo JHJHJHJHJ/multilingual-e5-large-instruct-Q5_K_M-GGUF --hf-file multilingual-e5-large-instruct-q5_k_m.gguf -c 2048

📚 詳細文檔

該模型在眾多自然語言處理任務上有詳細的評估結果，以下是部分任務的評估指標表格：

📄 許可證

該模型使用的許可證為MIT許可證。

🔧 技術細節

此模型基於intfloat/multilingual-e5-large-instruct基礎模型轉換而來，藉助llama.cpp和ggml.ai的GGUF - my - repo空間完成格式轉換。在轉換過程中，確保了模型在多種語言和任務上的性能得以保留，並且通過不同的評估指標對模型在各個任務上的表現進行了詳細的評估，以驗證其有效性和準確性。