Qwen2.5 VL 3B Instruct GPTQ Int3

🚀 Qwen2.5-VL-3B-Instruct-GPTQ-Int3

這是一個使用gptqmodel庫對Qwen2.5-VL模型進行GPTQ-Int3量化的非官方版本。該模型與最新的transformers庫兼容（該庫可運行非量化的Qwen2.5-VL模型）。

✨ 主要特性

• 提供了不同量化版本的Qwen2.5-VL模型性能對比。
• 給出了模型使用的示例代碼，方便快速上手。
• 對模型評估和使用給出了相關說明和建議。

📦 安裝指南

安裝所需的庫：

pip install git+https://github.com/huggingface/transformers accelerate qwen-vl-utils
pip install git+https://github.com/huggingface/optimum.git
pip install gptqmodel 

你可能還需要選擇性安裝：

pip install tokenicer device_smi logbar

💻 使用示例

基礎用法

from transformers import Qwen2_5_VLForConditionalGeneration, AutoTokenizer, AutoProcessor
from qwen_vl_utils import process_vision_info

model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    "hfl/Qwen2.5-VL-3B-Instruct-GPTQ-Int4", 
    attn_implementation="flash_attention_2",
    device_map="auto"
)
processor = AutoProcessor.from_pretrained("hfl/Qwen2.5-VL-3B-Instruct-GPTQ-Int4")

messages = [{
    "role": "user",
    "content": [
        {"type": "image", "image": "https://raw.githubusercontent.com/ymcui/Chinese-LLaMA-Alpaca-3/refs/heads/main/pics/banner.png"},
        {"type": "text", "text": "請你描述一下這張圖片。"},
    ],
}]

text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(
    text=[text], images=image_inputs, videos=video_inputs,
    padding=True, return_tensors="pt",
).to("cuda")

generated_ids = model.generate(**inputs, max_new_tokens=512)
generated_ids_trimmed = [out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)]
output_text = processor.batch_decode(generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False)
print(output_text[0])

輸出示例

運行上述代碼後，模型的回覆如下：

這張圖片展示了一箇中文和英文的標誌，內容為“中文LLaMA & Alpaca大模型”和“Chinese LLaMA & Alpaca Large Language Models”。標誌左側有兩個卡通形象，一個是紅色圍巾的羊駝，另一個是白色毛髮的羊駝，背景是一個綠色的草地和一座紅色屋頂的建築。標誌右側有一個數字3，旁邊有一些電路圖案。整體設計簡潔明瞭，使用了明亮的顏色和可愛的卡通形象來吸引注意力。

📚 詳細文檔

性能對比

注意事項

• 評估使用的是 lmms-eval 並採用默認設置。
• 在這些評估中，GPTQ模型比AWQ系列在計算上更高效（顯存使用更少，推理速度更快）。
• 建議使用gptqmodel而不是autogptq庫，因為autogptq已停止維護。

免責聲明

• 這不是通義官方的模型，使用風險自負。
• 有關詳細使用方法，請查看 Qwen2.5-VL的頁面。

📄 許可證

本項目採用Apache-2.0許可證。