Qwen2.5 VL 3B Instruct GPTQ Int4

🚀 Qwen2.5-VL-3B-Instruct-GPTQ-Int4

這是一個使用gptqmodel庫對Qwen2.5-VL模型進行GPTQ-Int4量化的非官方版本。該模型與最新的transformers庫兼容（該庫可運行非量化的Qwen2.5-VL模型）。

🚀 快速開始

安裝所需庫

pip install git+https://github.com/huggingface/transformers accelerate qwen-vl-utils
pip install git+https://github.com/huggingface/optimum.git
pip install gptqmodel 

可選安裝

pip install tokenicer device_smi logbar

示例代碼

from transformers import Qwen2_5_VLForConditionalGeneration, AutoTokenizer, AutoProcessor
from qwen_vl_utils import process_vision_info

model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    "hfl/Qwen2.5-VL-3B-Instruct-GPTQ-Int4", 
    attn_implementation="flash_attention_2",
    device_map="auto"
)
processor = AutoProcessor.from_pretrained("hfl/Qwen2.5-VL-3B-Instruct-GPTQ-Int4")

messages = [{
    "role": "user",
    "content": [
        {"type": "image", "image": "https://raw.githubusercontent.com/ymcui/Chinese-LLaMA-Alpaca-3/refs/heads/main/pics/banner.png"},
        {"type": "text", "text": "請你描述一下這張圖片。"},
    ],
}]

text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(
    text=[text], images=image_inputs, videos=video_inputs,
    padding=True, return_tensors="pt",
).to("cuda")

generated_ids = model.generate(**inputs, max_new_tokens=512)
generated_ids_trimmed = [out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)]
output_text = processor.batch_decode(generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False)
print(output_text[0])

響應示例

這張圖片展示了一箇中文和英文的標誌，內容為“中文LLaMA & Alpaca大模型”和“Chinese LLaMA & Alpaca Large Language Models”。標誌左側有兩個卡通形象，一個是紅色圍巾的羊駝，另一個是白色毛髮的羊駝，背景是一個綠色的草地和一座紅色屋頂的建築。標誌右側有一個數字3，旁邊有一些電路圖案。整體設計簡潔明瞭，使用了明亮的顏色和可愛的卡通形象來吸引注意力。

✨ 主要特性

• 本模型是Qwen2.5-VL的GPTQ-Int4量化版本，與transformers庫兼容。
• 在評估中，GPTQ模型比AWQ系列計算效率更高（顯存使用更少，推理速度更快）。

📦 安裝指南

安裝必需庫

pip install git+https://github.com/huggingface/transformers accelerate qwen-vl-utils
pip install git+https://github.com/huggingface/optimum.git
pip install gptqmodel 

可選安裝

pip install tokenicer device_smi logbar

💻 使用示例

基礎用法

from transformers import Qwen2_5_VLForConditionalGeneration, AutoTokenizer, AutoProcessor
from qwen_vl_utils import process_vision_info

model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    "hfl/Qwen2.5-VL-3B-Instruct-GPTQ-Int4", 
    attn_implementation="flash_attention_2",
    device_map="auto"
)
processor = AutoProcessor.from_pretrained("hfl/Qwen2.5-VL-3B-Instruct-GPTQ-Int4")

messages = [{
    "role": "user",
    "content": [
        {"type": "image", "image": "https://raw.githubusercontent.com/ymcui/Chinese-LLaMA-Alpaca-3/refs/heads/main/pics/banner.png"},
        {"type": "text", "text": "請你描述一下這張圖片。"},
    ],
}]

text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(
    text=[text], images=image_inputs, videos=video_inputs,
    padding=True, return_tensors="pt",
).to("cuda")

generated_ids = model.generate(**inputs, max_new_tokens=512)
generated_ids_trimmed = [out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)]
output_text = processor.batch_decode(generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False)
print(output_text[0])

📚 詳細文檔

性能對比

注意事項

• 評估使用 lmms-eval 並採用默認設置。
• 在這些評估中，GPTQ模型比AWQ系列計算效率更高（顯存使用更少，推理速度更快）。
• 建議使用gptqmodel而不是autogptq庫，因為autogptq已停止維護。

免責聲明

• 這不是Qwen的官方模型，使用風險自負。
• 詳細使用方法請查看 Qwen2.5-VL的頁面。

📄 許可證

本項目採用Apache-2.0許可證。