Uform Gen2 Dpo

🚀 UForm-Gen2-dpo 模型

UForm-Gen2-dpo 是一款小型生成式視覺語言模型，藉助直接偏好優化（DPO）方法，在偏好數據集 VLFeedback 和 LLaVA-Human-Preference-10K 上針對圖像描述和視覺問答任務進行了對齊。該模型可用於圖像描述、回答關於圖像的問題，也適用於多模態聊天。

🚀 快速開始

模型組成

UForm-Gen2-dpo 模型由兩部分組成：

1. 類 CLIP 的 ViT-H/14
2. Qwen1.5 - 0.5B - Chat

訓練信息

該模型在配備 8 塊 H100 GPU 的 DGX - H100 上訓練不到一天即可完成。感謝 Nebius.ai 提供的計算資源 🤗

使用示例

基礎用法

from transformers import AutoModel, AutoProcessor
model = AutoModel.from_pretrained("unum-cloud/uform-gen2-dpo", trust_remote_code=True)
processor = AutoProcessor.from_pretrained("unum-cloud/uform-gen2-dpo", trust_remote_code=True)
prompt = "Question or Instruction"
image = Image.open("image.jpg")
inputs = processor(text=[prompt], images=[image], return_tensors="pt")
with torch.inference_mode():
     output = model.generate(
        **inputs,
        do_sample=False,
        use_cache=True,
        max_new_tokens=256,
        eos_token_id=151645,
        pad_token_id=processor.tokenizer.pad_token_id
    )
prompt_len = inputs["input_ids"].shape[1]
decoded_text = processor.batch_decode(output[:, prompt_len:])[0]

該生成式模型可用於為圖像添加描述、回答關於圖像的問題，也適用於多模態聊天。你可以在我們的演示空間中查看不同提示的示例。

✨ 主要特性

• 功能多樣：可用於圖像描述、視覺問答以及多模態聊天。
• 訓練高效：在強大的計算資源支持下，訓練時間不到一天。

📦 安裝指南

文檔未提供具體安裝步驟，暫不展示。

💻 使用示例

基礎用法

from transformers import AutoModel, AutoProcessor
model = AutoModel.from_pretrained("unum-cloud/uform-gen2-dpo", trust_remote_code=True)
processor = AutoProcessor.from_pretrained("unum-cloud/uform-gen2-dpo", trust_remote_code=True)
prompt = "Question or Instruction"
image = Image.open("image.jpg")
inputs = processor(text=[prompt], images=[image], return_tensors="pt")
with torch.inference_mode():
     output = model.generate(
        **inputs,
        do_sample=False,
        use_cache=True,
        max_new_tokens=256,
        eos_token_id=151645,
        pad_token_id=processor.tokenizer.pad_token_id
    )
prompt_len = inputs["input_ids"].shape[1]
decoded_text = processor.batch_decode(output[:, prompt_len:])[0]

高級用法

文檔未提供高級用法示例，暫不展示。

📚 詳細文檔

模型描述

UForm - Gen2 - dpo 是一個小型生成式視覺語言模型，在偏好數據集 VLFeedback 和 LLaVA - Human - Preference - 10K 上，使用直接偏好優化（DPO）方法進行圖像描述和視覺問答任務的對齊。

模型結構

模型由兩部分構成：

1. CLIP 類的 ViT - H/14
2. Qwen1.5 - 0.5B - Chat

訓練情況

該模型在配備 8 塊 H100 GPU 的 DGX - H100 上訓練不到一天。

模型用途

該生成式模型可用於為圖像添加描述、回答關於圖像的問題，也適用於多模態聊天。

🔧 技術細節

評估指標

評估結果

📄 許可證

本項目使用 apache - 2.0 許可證。