Granite 3.3 8b Instruct GGUF

🚀 Granite-3.3-8B-Instruct GGUF模型

Granite-3.3-8B-Instruct GGUF模型是一種經過優化的語言模型，採用了超低比特量化技術，在保持高效內存使用的同時，還能維持較高的準確性。該模型適用於多種場景，包括AI網絡監控等領域。

🚀 快速開始

安裝依賴庫

pip install torch torchvision torchaudio
pip install accelerate
pip install transformers

代碼示例

from transformers import AutoModelForCausalLM, AutoTokenizer, set_seed
import torch

model_path="ibm-granite/granite-3.3-8b-instruct"
device="cuda"
model = AutoModelForCausalLM.from_pretrained(
        model_path,
        device_map=device,
        torch_dtype=torch.bfloat16,
    )
tokenizer = AutoTokenizer.from_pretrained(
        model_path
)

conv = [{"role": "user", "content":"Redesign a common household item to make it more sustainable and user-friendly. Explain the changes and their benefits."}]

input_ids = tokenizer.apply_chat_template(conv, return_tensors="pt", thinking=True, return_dict=True, add_generation_prompt=True).to(device)

set_seed(42)
output = model.generate(
    **input_ids,
    max_new_tokens=8192,
)

prediction = tokenizer.decode(output[0, input_ids["input_ids"].shape[1]:], skip_special_tokens=True)
print(prediction)

✨ 主要特性

• 超低比特量化技術：引入了精確自適應量化方法，用於超低比特模型（1 - 2比特），在Llama - 3 - 8B上經過基準測試驗證有顯著改進。
• 多語言支持：支持英語、德語、西班牙語、法語、日語、葡萄牙語、阿拉伯語、捷克語、意大利語、韓語、荷蘭語和中文等多種語言。
• 推理能力增強：通過微調，在推理和遵循指令方面的能力得到顯著提升。
• 結構化推理：支持通過<think></think>和<response></response>標籤進行結構化推理，清晰分離內部思考和最終輸出。

📦 安裝指南

安裝所需的依賴庫，具體命令如下：

pip install torch torchvision torchaudio
pip install accelerate
pip install transformers

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer, set_seed
import torch

model_path="ibm-granite/granite-3.3-8b-instruct"
device="cuda"
model = AutoModelForCausalLM.from_pretrained(
        model_path,
        device_map=device,
        torch_dtype=torch.bfloat16,
    )
tokenizer = AutoTokenizer.from_pretrained(
        model_path
)

conv = [{"role": "user", "content":"Redesign a common household item to make it more sustainable and user-friendly. Explain the changes and their benefits."}]

input_ids = tokenizer.apply_chat_template(conv, return_tensors="pt", thinking=True, return_dict=True, add_generation_prompt=True).to(device)

set_seed(42)
output = model.generate(
    **input_ids,
    max_new_tokens=8192,
)

prediction = tokenizer.decode(output[0, input_ids["input_ids"].shape[1]:], skip_special_tokens=True)
print(prediction)

高級用法

在不同的推理場景中，可以根據需要調整模型的參數，例如max_new_tokens等，以滿足不同的需求。

📚 詳細文檔

模型格式選擇

選擇正確的模型格式取決於您的硬件能力和內存限制，具體如下：

包含的文件及詳情

• granite-3.3-8b-instruct-bf16.gguf：模型權重保存為BF16格式，適用於需要重新量化模型或設備支持BF16加速的情況。
• granite-3.3-8b-instruct-f16.gguf：模型權重保存為F16格式，適用於支持FP16但不支持BF16的設備。
• granite-3.3-8b-instruct-bf16-q8_0.gguf：輸出和嵌入層保持為BF16，其他層量化為Q8_0，適用於支持BF16且需要量化版本的設備。
• granite-3.3-8b-instruct-f16-q8_0.gguf：輸出和嵌入層保持為F16，其他層量化為Q8_0。
• granite-3.3-8b-instruct-q4_k.gguf：輸出和嵌入層量化為Q8_0，其他層量化為Q4_K，適用於內存有限的CPU推理。
• granite-3.3-8b-instruct-q4_k_s.gguf：最小的Q4_K變體，以犧牲一定準確性為代價減少內存使用，適用於極低內存設置。
• granite-3.3-8b-instruct-q6_k.gguf：輸出和嵌入層量化為Q8_0，其他層量化為Q6_K。
• granite-3.3-8b-instruct-q8_0.gguf：完全Q8量化的模型，準確性更高，但需要更多內存。
• granite-3.3-8b-instruct-iq3_xs.gguf：IQ3_XS量化，針對極端內存效率進行優化，適用於超低內存設備。
• granite-3.3-8b-instruct-iq3_m.gguf：IQ3_M量化，提供中等塊大小以提高準確性，適用於低內存設備。
• granite-3.3-8b-instruct-q4_0.gguf：純Q4_0量化，針對ARM設備進行優化，適用於低內存環境，建議使用IQ4_NL以獲得更好的準確性。

測試模型

如果您發現這些模型有用，可以幫助測試AI網絡監控助手，具體步驟如下：

1. 點擊免費網絡監控。
2. 點擊頁面右下角的聊天圖標。
3. 選擇AI助手類型：
   • TurboLLM（GPT - 4 - mini）
   • FreeLLM（開源）
   • TestLLM（僅支持CPU的實驗性模型）

示例AI命令

• "Give me info on my websites SSL certificate"
• "Check if my server is using quantum safe encyption for communication"
• "Run a quick Nmap vulnerability test"

🔧 技術細節

超低比特量化方法

最新的量化方法引入了精確自適應量化，用於超低比特模型（1 - 2比特），在Llama - 3 - 8B上經過基準測試驗證有顯著改進。具體方法如下：

• 動態精度分配：前/後25%的層採用IQ4_XS（選定層），中間50%採用IQ2_XXS/IQ3_S（提高效率）。
• 關鍵組件保護：嵌入層和輸出層使用Q5_K，與標準的1 - 2比特量化相比，可將誤差傳播降低38%。

量化性能比較

評估結果

在多個基準測試中，Granite - 3.3 - 8B - Instruct表現出色，具體結果如下：

數學基準測試

📄 許可證

本項目採用Apache 2.0許可證。