Typhoon2 Qwen2vl 7b Vision Instruct

🚀 Typhoon2-Vision

Typhoon2-qwen2vl-7b-vision-instruct 是一款泰国 🇹🇭 视觉语言模型，支持图像和视频输入。虽然 Qwen2-VL 旨在处理图像和视频处理任务，但 Typhoon2-VL 专门针对基于图像的应用进行了优化。

如需查看技术报告，请访问我们的 arxiv。

🚀 快速开始

以下是一个代码片段，展示如何使用 transformers 库来使用该模型。

在运行代码片段之前，你需要安装以下依赖项：

pip install torch transformers accelerate pillow

如何开始使用模型

使用以下代码开始使用该模型。

问题：ระบุชื่อสถานที่และประเทศของภาพนี้เป็นภาษาไทย
答案：พระบรมมหาราชวัง, กรุงเทพฯ, ประเทศไทย

from PIL import Image
import requests
from transformers import Qwen2VLForConditionalGeneration, AutoProcessor

model_name = "scb10x/typhoon2-qwen2vl-7b-vision-instruct"

model = Qwen2VLForConditionalGeneration.from_pretrained(
    model_name, torch_dtype="auto", device_map="auto"
)
processor = AutoProcessor.from_pretrained(model_name)

# Image
url = "https://cdn.pixabay.com/photo/2023/05/16/09/15/bangkok-7997046_1280.jpg"
image = Image.open(requests.get(url, stream=True).raw)

conversation = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
            },
            {"type": "text", "text": "ระบุชื่อสถานที่และประเทศของภาพนี้เป็นภาษาไทย"},
        ],
    }
]


# Preprocess the inputs
text_prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)

inputs = processor(
    text=[text_prompt], images=[image], padding=True, return_tensors="pt"
)
inputs = inputs.to("cuda")

output_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids = [
    output_ids[len(input_ids) :]
    for input_ids, output_ids in zip(inputs.input_ids, output_ids)
]
output_text = processor.batch_decode(
    generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True
)
print(output_text)
# ['พระบรมมหาราชวัง, กรุงเทพฯ, ประเทศไทย']

处理多张图像

from PIL import Image
import requests
from transformers import Qwen2VLForConditionalGeneration, AutoProcessor

model_name = "scb10x/typhoon2-qwen2vl-7b-vision-instruct"

model = Qwen2VLForConditionalGeneration.from_pretrained(
    model_name, torch_dtype="auto", device_map="auto"
)
processor = AutoProcessor.from_pretrained(model_name)

# Messages containing multiple images and a text query
conversation = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
            },
            {
                "type": "image",
            },
            {"type": "text", "text": "ระบุ 3 สิ่งที่คล้ายกันในสองภาพนี้"},
        ],
    }
]

urls = [
    "https://cdn.pixabay.com/photo/2023/05/16/09/15/bangkok-7997046_1280.jpg",
    "https://cdn.pixabay.com/photo/2020/08/10/10/09/bangkok-5477405_1280.jpg",
]
images = [Image.open(requests.get(url, stream=True).raw) for url in urls]

# Preprocess the inputs
text_prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)

inputs = processor(text=[text_prompt], images=images, padding=True, return_tensors="pt")
inputs = inputs.to("cuda")

# Inference
generated_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids_trimmed = [
    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_text = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)
# ['1. ทั้งสองภาพแสดงสถาปัตยกรรมที่มีลักษณะคล้ายกัน\n2. ทั้งสองภาพมีสีสันที่สวยงาม\n3. ทั้งสองภาพมีทิวทัศน์ที่สวยงาม']

提示

为了平衡模型性能和计算成本，你可以通过向处理器传递参数来设置最小和最大像素数。

min_pixels = 128 * 28 * 28
max_pixels = 2560 * 28 * 28
processor = AutoProcessor.from_pretrained(
    model_name, min_pixels=min_pixels, max_pixels=max_pixels
)

评估（图像）

注意：每个单元格中的第一个值代表 Rouge-L，第二个值（/ 之后）代表 准确率，并进行了归一化处理，使得 Rouge-L = 100%。

✨ 主要特性

• Typhoon2-qwen2vl-7b-vision-instruct 基于 Qwen2-VL-7B-Instruct 构建。
• 模型类型：基于 Qwen2 架构的 7B 指令仅解码器模型，带有视觉编码器。
• 要求：transformers 4.38.0 或更高版本。
• 主要语言：泰语 🇹🇭 和英语 🇬🇧
• 演示：https://vision.opentyphoon.ai/
• 许可证：Apache-2.0

📚 详细文档

预期用途与限制

该模型是一个指令模型，但仍在开发中。它包含了一定程度的防护机制，但在响应用户提示时仍可能产生不准确、有偏差或其他令人反感的答案。我们建议开发者在其用例的背景下评估这些风险。

关注我们

https://twitter.com/opentyphoon

支持

https://discord.gg/us5gAYmrxw

引用

如果您发现 Typhoon2 对您的工作有用，请使用以下方式引用：

@misc{typhoon2,
      title={Typhoon 2: A Family of Open Text and Multimodal Thai Large Language Models}, 
      author={Kunat Pipatanakul and Potsawee Manakul and Natapong Nitarach and Warit Sirichotedumrong and Surapon Nonesung and Teetouch Jaknamon and Parinthapat Pengpun and Pittawat Taveekitworachai and Adisai Na-Thalang and Sittipong Sripaisarnmongkol and Krisanapong Jirayoot and Kasima Tharnpipitchai},
      year={2024},
      eprint={2412.13702},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2412.13702}, 
}