庫名稱: transformers 許可證: apache-2.0 語言:

• 英文 基礎模型:
• Qwen/Qwen2-VL-7B-Instruct 管道標籤: 圖像轉文本

Qwen2-VL-7B-Captioner-Relaxed

簡介

Qwen2-VL-7B-Captioner-Relaxed是基於Qwen2-VL-7B-Instruct的指令調優版本，這是一個先進的多模態大語言模型。該微調版本基於手工策劃的文本到圖像模型數據集，能提供更詳細的圖像描述。

主要特點:

• 增強細節: 生成更全面、更細緻的圖像描述。
• 寬鬆限制: 相比基礎模型提供限制更少的圖像描述。
• 自然語言輸出: 使用自然語言描述圖像中的不同主體及其位置。
• 圖像生成優化: 生成與最先進文本到圖像生成模型兼容的標題格式。

注意: 該微調模型專為創建文本到圖像數據集優化。因此在其他任務上的表現(如~10%的mmmu_val下降)可能不如原始模型。

要求

如果遇到KeyError: 'qwen2_vl'或ImportError: cannot import name 'Qwen2VLForConditionalGeneration' from 'transformers'等錯誤，請嘗試從源碼安裝最新版transformers庫:

pip install git+https://github.com/huggingface/transformers

快速開始

from PIL import Image
from transformers import Qwen2VLForConditionalGeneration, AutoProcessor
from transformers import BitsAndBytesConfig
import torch

model_id = "Ertugrul/Qwen2-VL-7B-Captioner-Relaxed"

model = Qwen2VLForConditionalGeneration.from_pretrained(
    model_id, torch_dtype=torch.bfloat16, device_map="auto"
)
processor = AutoProcessor.from_pretrained(model_id)

conversation = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
            },
            {"type": "text", "text": "描述這張圖片。"},
        ],
    }
]