Granite 3.3 8b Instruct GGUF

🚀 Granite-3.3-8B-Instruct GGUF模型

Granite-3.3-8B-Instruct GGUF模型是一种经过优化的语言模型，采用了超低比特量化技术，在保持高效内存使用的同时，还能维持较高的准确性。该模型适用于多种场景，包括AI网络监控等领域。

🚀 快速开始

安装依赖库

pip install torch torchvision torchaudio
pip install accelerate
pip install transformers

代码示例

from transformers import AutoModelForCausalLM, AutoTokenizer, set_seed
import torch

model_path="ibm-granite/granite-3.3-8b-instruct"
device="cuda"
model = AutoModelForCausalLM.from_pretrained(
        model_path,
        device_map=device,
        torch_dtype=torch.bfloat16,
    )
tokenizer = AutoTokenizer.from_pretrained(
        model_path
)

conv = [{"role": "user", "content":"Redesign a common household item to make it more sustainable and user-friendly. Explain the changes and their benefits."}]

input_ids = tokenizer.apply_chat_template(conv, return_tensors="pt", thinking=True, return_dict=True, add_generation_prompt=True).to(device)

set_seed(42)
output = model.generate(
    **input_ids,
    max_new_tokens=8192,
)

prediction = tokenizer.decode(output[0, input_ids["input_ids"].shape[1]:], skip_special_tokens=True)
print(prediction)

✨ 主要特性

• 超低比特量化技术：引入了精确自适应量化方法，用于超低比特模型（1 - 2比特），在Llama - 3 - 8B上经过基准测试验证有显著改进。
• 多语言支持：支持英语、德语、西班牙语、法语、日语、葡萄牙语、阿拉伯语、捷克语、意大利语、韩语、荷兰语和中文等多种语言。
• 推理能力增强：通过微调，在推理和遵循指令方面的能力得到显著提升。
• 结构化推理：支持通过<think></think>和<response></response>标签进行结构化推理，清晰分离内部思考和最终输出。

📦 安装指南

安装所需的依赖库，具体命令如下：

pip install torch torchvision torchaudio
pip install accelerate
pip install transformers

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer, set_seed
import torch

model_path="ibm-granite/granite-3.3-8b-instruct"
device="cuda"
model = AutoModelForCausalLM.from_pretrained(
        model_path,
        device_map=device,
        torch_dtype=torch.bfloat16,
    )
tokenizer = AutoTokenizer.from_pretrained(
        model_path
)

conv = [{"role": "user", "content":"Redesign a common household item to make it more sustainable and user-friendly. Explain the changes and their benefits."}]

input_ids = tokenizer.apply_chat_template(conv, return_tensors="pt", thinking=True, return_dict=True, add_generation_prompt=True).to(device)

set_seed(42)
output = model.generate(
    **input_ids,
    max_new_tokens=8192,
)

prediction = tokenizer.decode(output[0, input_ids["input_ids"].shape[1]:], skip_special_tokens=True)
print(prediction)

高级用法

在不同的推理场景中，可以根据需要调整模型的参数，例如max_new_tokens等，以满足不同的需求。

📚 详细文档

模型格式选择

选择正确的模型格式取决于您的硬件能力和内存限制，具体如下：

包含的文件及详情

• granite-3.3-8b-instruct-bf16.gguf：模型权重保存为BF16格式，适用于需要重新量化模型或设备支持BF16加速的情况。
• granite-3.3-8b-instruct-f16.gguf：模型权重保存为F16格式，适用于支持FP16但不支持BF16的设备。
• granite-3.3-8b-instruct-bf16-q8_0.gguf：输出和嵌入层保持为BF16，其他层量化为Q8_0，适用于支持BF16且需要量化版本的设备。
• granite-3.3-8b-instruct-f16-q8_0.gguf：输出和嵌入层保持为F16，其他层量化为Q8_0。
• granite-3.3-8b-instruct-q4_k.gguf：输出和嵌入层量化为Q8_0，其他层量化为Q4_K，适用于内存有限的CPU推理。
• granite-3.3-8b-instruct-q4_k_s.gguf：最小的Q4_K变体，以牺牲一定准确性为代价减少内存使用，适用于极低内存设置。
• granite-3.3-8b-instruct-q6_k.gguf：输出和嵌入层量化为Q8_0，其他层量化为Q6_K。
• granite-3.3-8b-instruct-q8_0.gguf：完全Q8量化的模型，准确性更高，但需要更多内存。
• granite-3.3-8b-instruct-iq3_xs.gguf：IQ3_XS量化，针对极端内存效率进行优化，适用于超低内存设备。
• granite-3.3-8b-instruct-iq3_m.gguf：IQ3_M量化，提供中等块大小以提高准确性，适用于低内存设备。
• granite-3.3-8b-instruct-q4_0.gguf：纯Q4_0量化，针对ARM设备进行优化，适用于低内存环境，建议使用IQ4_NL以获得更好的准确性。

测试模型

如果您发现这些模型有用，可以帮助测试AI网络监控助手，具体步骤如下：

1. 点击免费网络监控。
2. 点击页面右下角的聊天图标。
3. 选择AI助手类型：
   • TurboLLM（GPT - 4 - mini）
   • FreeLLM（开源）
   • TestLLM（仅支持CPU的实验性模型）

示例AI命令

• "Give me info on my websites SSL certificate"
• "Check if my server is using quantum safe encyption for communication"
• "Run a quick Nmap vulnerability test"

🔧 技术细节

超低比特量化方法

最新的量化方法引入了精确自适应量化，用于超低比特模型（1 - 2比特），在Llama - 3 - 8B上经过基准测试验证有显著改进。具体方法如下：

• 动态精度分配：前/后25%的层采用IQ4_XS（选定层），中间50%采用IQ2_XXS/IQ3_S（提高效率）。
• 关键组件保护：嵌入层和输出层使用Q5_K，与标准的1 - 2比特量化相比，可将误差传播降低38%。

量化性能比较

评估结果

在多个基准测试中，Granite - 3.3 - 8B - Instruct表现出色，具体结果如下：

数学基准测试

📄 许可证

本项目采用Apache 2.0许可证。