Qwen2.5 3B Instruct GGUF

🚀 Qwen2.5-3B-Instruct GGUF模型

Qwen2.5-3B-Instruct GGUF模型采用了最新的超低比特量化方法，在保持高精度的同时，极大地提高了内存使用效率。该模型适用于多种硬件环境，能满足不同场景下的推理需求。

🚀 快速开始

以下是一个使用apply_chat_template加载分词器和模型并生成内容的代码示例：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Qwen/Qwen2.5-3B-Instruct"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Give me a short introduction to large language model."
messages = [
    {"role": "system", "content": "You are Qwen, created by Alibaba Cloud. You are a helpful assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

✨ 主要特性

超低比特量化技术

• 引入了针对超低比特模型（1 - 2比特）的精度自适应量化方法，在Llama - 3 - 8B模型上经过基准测试验证，性能得到显著提升。
• 采用特定层策略，在保持极高内存效率的同时，有效保留了模型的准确性。

多模型格式支持

• 提供BF16、F16、量化模型（Q4_K、Q6_K、Q8等）多种格式，可根据硬件能力和内存限制灵活选择。

广泛的应用场景

• 适用于GPU显存有限的场景、内存受限的部署环境、CPU和边缘设备，以及超低比特量化研究。

📦 安装指南

文档未提及具体安装步骤，可参考Hugging Face的transformers库安装方法。

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Qwen/Qwen2.5-3B-Instruct"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Give me a short introduction to large language model."
messages = [
    {"role": "system", "content": "You are Qwen, created by Alibaba Cloud. You are a helpful assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

高级用法

文档未提及高级用法示例。

📚 详细文档

量化方法详情

基准测试环境

所有测试均在Llama - 3 - 8B - Instruct上进行，使用标准困惑度评估管道、2048令牌上下文窗口，并在所有量化方法中使用相同的提示集。

量化方法

• 动态精度分配：
  • 前/后25%的层采用IQ4_XS（选定层）。
  • 中间50%的层采用IQ2_XXS/IQ3_S以提高效率。
• 关键组件保护：
  • 嵌入层/输出层使用Q5_K，与标准1 - 2比特量化相比，误差传播降低38%。

量化性能比较（Llama - 3 - 8B）

关键改进：

• 🔥 IQ1_M的困惑度大幅降低43.9%（从27.46降至15.41）。
• 🚀 IQ2_S的困惑度降低36.9%，同时仅增加0.2GB大小。
• ⚡ IQ1_S在1比特量化的情况下，精度仍提高39.7%。

权衡：

• 所有变体的大小均有适度增加（0.1 - 0.3GB）。
• 推理速度差异不大（<5%）。

模型格式选择

BF16（Brain Float 16）

• 适用于支持BF16加速的硬件，提供与FP32相似的动态范围，但内存使用更低。
• 使用场景：硬件支持BF16加速、需要更高精度并节省内存、计划将模型重新量化为其他格式。
• 避免场景：硬件不支持BF16、需要与缺乏BF16优化的旧设备兼容。

F16（Float 16）

• 比BF16更广泛支持，适用于大多数支持FP16加速的设备。
• 使用场景：硬件支持FP16但不支持BF16、需要在速度、内存使用和准确性之间取得平衡、在GPU或其他针对FP16计算优化的设备上运行。
• 避免场景：设备缺乏原生FP16支持、有内存限制。

量化模型（Q4_K、Q6_K、Q8等）

• 用于CPU和低显存推理，通过量化降低模型大小和内存使用，同时尽可能保持准确性。
• 低比特模型（Q4_K）：最适合最小化内存使用，但精度可能较低。
• 高比特模型（Q6_K、Q8_0）：精度更高，但需要更多内存。
• 使用场景：在CPU上运行推理、设备显存较低、希望在保持合理准确性的同时减少内存占用。
• 避免场景：需要最高精度、硬件有足够显存支持更高精度格式（BF16/F16）。

极低比特量化（IQ3_XS、IQ3_S、IQ3_M、Q4_K、Q4_0）

• 针对极端内存效率进行优化，适用于低功耗设备或内存受限的大规模部署。
• IQ3_XS：超低比特量化（3比特），具有极高的内存效率，适用于超低内存设备，但精度较低。
• IQ3_S：小块大小，最大程度提高内存效率，适用于低内存设备。
• IQ3_M：中等块大小，精度优于IQ3_S，适用于低内存设备。
• Q4_K：4比特量化，块级优化，精度较好，适用于低内存设备。
• Q4_0：纯4比特量化，针对ARM设备优化，适用于ARM设备或低内存环境。

模型格式选择总结表

包含文件详情

• Qwen2.5-3B-Instruct-bf16.gguf：模型权重保存为BF16格式，适用于支持BF16加速的设备，可用于将模型重新量化为其他格式。
• Qwen2.5-3B-Instruct-f16.gguf：模型权重保存为F16格式，适用于支持FP16但不支持BF16的设备。
• Qwen2.5-3B-Instruct-bf16-q8_0.gguf：输出和嵌入层保持为BF16，其他层量化为Q8_0，适用于支持BF16且需要量化版本的设备。
• Qwen2.5-3B-Instruct-f16-q8_0.gguf：输出和嵌入层保持为F16，其他层量化为Q8_0。
• Qwen2.5-3B-Instruct-q4_k.gguf：输出和嵌入层量化为Q8_0，其他层量化为Q4_K，适用于内存有限的CPU推理。
• Qwen2.5-3B-Instruct-q4_k_s.gguf：最小的Q4_K变体，内存使用更少，但精度较低，适用于极低内存环境。
• Qwen2.5-3B-Instruct-q6_k.gguf：输出和嵌入层量化为Q8_0，其他层量化为Q6_K。
• Qwen2.5-3B-Instruct-q8_0.gguf：全Q8量化模型，精度更高，但需要更多内存。
• Qwen2.5-3B-Instruct-iq3_xs.gguf：IQ3_XS量化，针对极端内存效率优化，适用于超低内存设备。
• Qwen2.5-3B-Instruct-iq3_m.gguf：IQ3_M量化，中等块大小，精度较好，适用于低内存设备。
• Qwen2.5-3B-Instruct-q4_0.gguf：纯Q4_0量化，针对ARM设备优化，适用于低内存环境，若需要更高精度，可选择IQ4_NL。

模型测试

如果您觉得这些模型有用，请点击“点赞”！同时，欢迎帮助测试AI网络监控助手，进行量子就绪安全检查： 👉 免费网络监控器

测试方法

1. 点击任意页面右下角的聊天图标。
2. 选择AI助手类型：
   • TurboLLM（GPT - 4 - mini）
   • FreeLLM（开源）
   • TestLLM（仅支持CPU的实验性模型）

测试内容

• 推动小型开源模型在AI网络监控中的极限，具体包括：
  • 针对实时网络服务进行函数调用。
  • 探索模型在处理以下任务时的最小规模：
    • 自动化Nmap扫描。
    • 量子就绪检查。
    • Metasploit集成。

各助手特点

• 🟡 TestLLM：当前实验性模型（llama.cpp在6个CPU线程上运行），零配置设置，加载时间30秒（推理速度慢，但无API成本），寻求边缘设备AI方面的合作！
• 🟢 TurboLLM：使用gpt - 4 - mini进行实时网络诊断和自动化渗透测试（Nmap/Metasploit），可通过下载免费网络监控代理获取更多令牌。
• 🔵 HugLLM：开源模型（约80亿参数），令牌数量是TurboLLM的2倍，支持AI日志分析，在Hugging Face推理API上运行。

示例AI测试命令

1. "Give me info on my websites SSL certificate"
2. "Check if my server is using quantum safe encyption for communication"
3. "Run a quick Nmap vulnerability test"

🔧 技术细节

模型介绍

Qwen2.5是通义大语言模型的最新系列，针对Qwen2.5发布了一系列参数从5亿到720亿的基础语言模型和指令微调语言模型。与Qwen2相比，Qwen2.5有以下改进：

• 知识量显著增加，在编码和数学方面的能力大幅提升，得益于在这些领域的专业专家模型。
• 在指令遵循、长文本生成（超过8K令牌）、结构化数据理解（如表格）和结构化输出生成（特别是JSON）方面有显著改进，对系统提示的多样性更具鲁棒性，增强了聊天机器人的角色扮演实现和条件设置。
• 支持长达128K令牌的长上下文，可生成多达8K令牌的内容。
• 支持超过29种语言，包括中文、英文、法语、西班牙语、葡萄牙语、德语、意大利语、俄语、日语、韩语、越南语、泰语、阿拉伯语等。

模型参数

评估与性能

详细评估结果见📑 博客。GPU内存要求和相应吞吐量结果见此处。

📄 许可证

本项目采用qwen-research许可证。

引用

如果您觉得我们的工作有帮助，请引用以下文献：

@misc{qwen2.5,
    title = {Qwen2.5: A Party of Foundation Models},
    url = {https://qwenlm.github.io/blog/qwen2.5/},
    author = {Qwen Team},
    month = {September},
    year = {2024}
}

@article{qwen2,
      title={Qwen2 Technical Report}, 
      author={An Yang and Baosong Yang and Binyuan Hui and Bo Zheng and Bowen Yu and Chang Zhou and Chengpeng Li and Chengyuan Li and Dayiheng Liu and Fei Huang and Guanting Dong and Haoran Wei and Huan Lin and Jialong Tang and Jialin Wang and Jian Yang and Jianhong Tu and Jianwei Zhang and Jianxin Ma and Jin Xu and Jingren Zhou and Jinze Bai and Jinzheng He and Junyang Lin and Kai Dang and Keming Lu and Keqin Chen and Kexin Yang and Mei Li and Mingfeng Xue and Na Ni and Pei Zhang and Peng Wang and Ru Peng and Rui Men and Ruize Gao and Runji Lin and Shijie Wang and Shuai Bai and Sinan Tan and Tianhang Zhu and Tianhao Li and Tianyu Liu and Wenbin Ge and Xiaodong Deng and Xiaohuan Zhou and Xingzhang Ren and Xinyu Zhang and Xipin Wei and Xuancheng Ren and Yang Fan and Yang Yao and Yichang Zhang and Yu Wan and Yunfei Chu and Yuqiong Liu and Zeyu Cui and Zhenru Zhang and Zhihao Fan},
      journal={arXiv preprint arXiv:2407.10671},
      year={2024}
}