Gte Small Q8 0 GGUF

🚀 ggml-org/gte-small-Q8_0-GGUF

本模型是通過 llama.cpp 藉助 ggml.ai 的 GGUF-my-repo 空間，從 thenlper/gte-small 轉換為 GGUF 格式的。有關該模型的更多詳細信息，請參考原始模型卡片。

🚀 快速開始

✨ 主要特性

• 模型基於 thenlper/gte-small 轉換而來，採用 GGUF 格式，可與 llama.cpp 兼容。
• 能夠通過 llama.cpp 的 CLI 或服務器模式進行調用，支持不同的硬件配置。

📦 安裝指南

通過 brew（適用於 Mac 和 Linux）安裝 llama.cpp：

brew install llama.cpp

💻 使用示例

基礎用法

使用 llama.cpp 的 CLI 進行推理：

llama-cli --hf-repo ggml-org/gte-small-Q8_0-GGUF --hf-file gte-small-q8_0.gguf -p "The meaning to life and the universe is"

高級用法

啟動 llama.cpp 服務器：

llama-server --hf-repo ggml-org/gte-small-Q8_0-GGUF --hf-file gte-small-q8_0.gguf -c 2048

另外，你也可以按照 Llama.cpp 倉庫中列出的使用步驟直接使用該檢查點：

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp && LLAMA_CURL=1 make
./llama-cli --hf-repo ggml-org/gte-small-Q8_0-GGUF --hf-file gte-small-q8_0.gguf -p "The meaning to life and the universe is"

或者

./llama-server --hf-repo ggml-org/gte-small-Q8_0-GGUF --hf-file gte-small-q8_0.gguf -c 2048

📚 詳細文檔

模型在多個任務和數據集上進行了評估，以下是具體的評估指標：

📄 許可證

該模型的許可證為 MIT。

信息表格