Meltemi 7B Instruct V1.5 GGUF

🚀 ilsp/Meltemi-7B-Instruct-v1.5 - GGUF

本項目包含適用於 ilsp/Meltemi-7B-Instruct-v1.5 的 GGUF 格式模型文件。這些文件藉助 TensorBlock 提供的機器進行量化，並且自 提交 b4011 起與 llama.cpp 兼容。

🚀 快速開始

本倉庫的內容能幫助你快速使用 ilsp/Meltemi-7B-Instruct-v1.5 的 GGUF 格式模型文件。下面將為你介紹相關信息。

✨ 主要特性

• 提供 ilsp/Meltemi-7B-Instruct-v1.5 的 GGUF 格式模型文件。
• 文件由 TensorBlock 提供的機器進行量化。
• 與 llama.cpp 兼容（自提交 b4011 起）。

📦 安裝指南

命令行方式

首先，安裝 Huggingface 客戶端：

pip install -U "huggingface_hub[cli]"

然後，將單個模型文件下載到本地目錄：

huggingface-cli download tensorblock/Meltemi-7B-Instruct-v1.5-GGUF --include "Meltemi-7B-Instruct-v1.5-Q2_K.gguf" --local-dir MY_LOCAL_DIR

如果你想按模式（例如 *Q4_K*gguf）下載多個模型文件，可以嘗試以下命令：

huggingface-cli download tensorblock/Meltemi-7B-Instruct-v1.5-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

📚 詳細文檔

我們的項目

項目名稱	詳情
Awesome MCP Servers	這是一個全面的模型上下文協議（MCP）服務器集合。 👉 查看項目 👈
TensorBlock Studio	這是一個輕量級、開放且可擴展的多大語言模型交互工作室。 👉 查看項目 👈

提示模板

<|system|>
{system_prompt}</s>
<|user|>
{prompt}</s>
<|assistant|>

模型文件規格

📄 許可證

本項目採用 Apache-2.0 許可證。