Jungzoona T3Q Qwen2.5 14b V1.0 E3 GGUF

🚀 JungZoona/T3Q-qwen2.5-14b-v1.0-e3 - GGUF

本倉庫包含 JungZoona/T3Q-qwen2.5-14b-v1.0-e3 的 GGUF 格式模型文件。這些文件由 TensorBlock 提供的機器進行量化，並且與 提交 b5165 版本的 llama.cpp 兼容。

✨ 主要特性

• 提供多種量化類型的 GGUF 格式模型文件，滿足不同場景需求。
• 模型文件與特定版本的 llama.cpp 兼容，方便使用。

📦 安裝指南

命令行方式

首先，安裝 Huggingface 客戶端：

pip install -U "huggingface_hub[cli]"

然後，將單個模型文件下載到本地目錄：

huggingface-cli download tensorblock/JungZoona_T3Q-qwen2.5-14b-v1.0-e3-GGUF --include "T3Q-qwen2.5-14b-v1.0-e3-Q2_K.gguf" --local-dir MY_LOCAL_DIR

如果你想按模式（例如 *Q4_K*gguf）下載多個模型文件，可以嘗試以下命令：

huggingface-cli download tensorblock/JungZoona_T3Q-qwen2.5-14b-v1.0-e3-GGUF --local-dir MY_LOCAL_DIR --local-dir-use-symlinks False --include='*Q4_K*gguf'

📚 詳細文檔

提示模板

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

模型文件規格

📄 許可證

本項目採用 Apache-2.0 許可證。

我們的項目