Uform Gen2 Dpo

🚀 UForm-Gen2-dpo 模型

UForm-Gen2-dpo 是一款小型生成式视觉语言模型，借助直接偏好优化（DPO）方法，在偏好数据集 VLFeedback 和 LLaVA-Human-Preference-10K 上针对图像描述和视觉问答任务进行了对齐。该模型可用于图像描述、回答关于图像的问题，也适用于多模态聊天。

🚀 快速开始

模型组成

UForm-Gen2-dpo 模型由两部分组成：

1. 类 CLIP 的 ViT-H/14
2. Qwen1.5 - 0.5B - Chat

训练信息

该模型在配备 8 块 H100 GPU 的 DGX - H100 上训练不到一天即可完成。感谢 Nebius.ai 提供的计算资源 🤗

使用示例

基础用法

from transformers import AutoModel, AutoProcessor
model = AutoModel.from_pretrained("unum-cloud/uform-gen2-dpo", trust_remote_code=True)
processor = AutoProcessor.from_pretrained("unum-cloud/uform-gen2-dpo", trust_remote_code=True)
prompt = "Question or Instruction"
image = Image.open("image.jpg")
inputs = processor(text=[prompt], images=[image], return_tensors="pt")
with torch.inference_mode():
     output = model.generate(
        **inputs,
        do_sample=False,
        use_cache=True,
        max_new_tokens=256,
        eos_token_id=151645,
        pad_token_id=processor.tokenizer.pad_token_id
    )
prompt_len = inputs["input_ids"].shape[1]
decoded_text = processor.batch_decode(output[:, prompt_len:])[0]

该生成式模型可用于为图像添加描述、回答关于图像的问题，也适用于多模态聊天。你可以在我们的演示空间中查看不同提示的示例。

✨ 主要特性

• 功能多样：可用于图像描述、视觉问答以及多模态聊天。
• 训练高效：在强大的计算资源支持下，训练时间不到一天。

📦 安装指南

文档未提供具体安装步骤，暂不展示。

💻 使用示例

基础用法

from transformers import AutoModel, AutoProcessor
model = AutoModel.from_pretrained("unum-cloud/uform-gen2-dpo", trust_remote_code=True)
processor = AutoProcessor.from_pretrained("unum-cloud/uform-gen2-dpo", trust_remote_code=True)
prompt = "Question or Instruction"
image = Image.open("image.jpg")
inputs = processor(text=[prompt], images=[image], return_tensors="pt")
with torch.inference_mode():
     output = model.generate(
        **inputs,
        do_sample=False,
        use_cache=True,
        max_new_tokens=256,
        eos_token_id=151645,
        pad_token_id=processor.tokenizer.pad_token_id
    )
prompt_len = inputs["input_ids"].shape[1]
decoded_text = processor.batch_decode(output[:, prompt_len:])[0]

高级用法

文档未提供高级用法示例，暂不展示。

📚 详细文档

模型描述

UForm - Gen2 - dpo 是一个小型生成式视觉语言模型，在偏好数据集 VLFeedback 和 LLaVA - Human - Preference - 10K 上，使用直接偏好优化（DPO）方法进行图像描述和视觉问答任务的对齐。

模型结构

模型由两部分构成：

1. CLIP 类的 ViT - H/14
2. Qwen1.5 - 0.5B - Chat

训练情况

该模型在配备 8 块 H100 GPU 的 DGX - H100 上训练不到一天。

模型用途

该生成式模型可用于为图像添加描述、回答关于图像的问题，也适用于多模态聊天。

🔧 技术细节

评估指标

评估结果

📄 许可证

本项目使用 apache - 2.0 许可证。