Qwen3 1.7B Q8 0 GGUF

🚀 Triangle104/Qwen3-1.7B-Q8_0-GGUF

本项目将模型从 Qwen/Qwen3-1.7B 转换为 GGUF 格式，转换借助 llama.cpp 并通过 ggml.ai 的 GGUF-my-repo 空间完成。如需了解该模型的更多详细信息，请参考 原始模型卡片。

✨ 主要特性

Qwen3 是通义大模型系列的最新一代产品，提供了一系列密集型和专家混合（MoE）模型。经过大量训练，Qwen3 在推理、指令遵循、智能体能力和多语言支持等方面取得了突破性进展，具备以下关键特性：

• 双模式无缝切换：在单个模型中独特地支持思维模式（用于复杂逻辑推理、数学和编码）和非思维模式（用于高效的通用对话）之间的无缝切换，确保在各种场景下都能实现最佳性能。
• 强大的推理能力：推理能力显著增强，在数学、代码生成和常识逻辑推理方面超越了之前的 QwQ（思维模式下）和 Qwen2.5 指令模型（非思维模式下）。
• 高度的人类偏好对齐：在创意写作、角色扮演、多轮对话和指令遵循方面表现出色，能够提供更自然、引人入胜和沉浸式的对话体验。
• 卓越的智能体能力：擅长智能体能力，能够在思维和非思维模式下与外部工具进行精确集成，在复杂的基于智能体的任务中在开源模型中取得领先性能。
• 广泛的语言支持：支持 100 多种语言和方言，具备强大的多语言指令遵循和翻译能力。

📦 安装指南

使用 Homebrew 安装 llama.cpp（适用于 Mac 和 Linux）

brew install llama.cpp

💻 使用示例

命令行界面（CLI）

llama-cli --hf-repo Triangle104/Qwen3-1.7B-Q8_0-GGUF --hf-file qwen3-1.7b-q8_0.gguf -p "The meaning to life and the universe is"

服务器模式

llama-server --hf-repo Triangle104/Qwen3-1.7B-Q8_0-GGUF --hf-file qwen3-1.7b-q8_0.gguf -c 2048

直接使用检查点

你也可以通过 Llama.cpp 仓库中列出的 使用步骤 直接使用此检查点：

1. 从 GitHub 克隆 llama.cpp：

git clone https://github.com/ggerganov/llama.cpp

2. 进入 llama.cpp 文件夹，并使用 LLAMA_CURL=1 标志以及其他特定于硬件的标志（例如，在 Linux 上使用英伟达 GPU 时使用 LLAMA_CUDA=1）进行编译：

cd llama.cpp && LLAMA_CURL=1 make

3. 通过主二进制文件运行推理：

./llama-cli --hf-repo Triangle104/Qwen3-1.7B-Q8_0-GGUF --hf-file qwen3-1.7b-q8_0.gguf -p "The meaning to life and the universe is"

或者

./llama-server --hf-repo Triangle104/Qwen3-1.7B-Q8_0-GGUF --hf-file qwen3-1.7b-q8_0.gguf -c 2048

📚 详细文档

模型概述

Qwen3-1.7B 具有以下特点：

📄 许可证

本项目采用 Apache-2.0 许可证。