Uform Gen2 Qwen 500m

🚀 UForm

Pocket-Sized Multimodal AI，用於內容理解和生成，UForm-Gen是一款小型生成式視覺語言模型，主要用於圖像描述和視覺問答，能有效解決圖像內容理解和問答交互的問題，為用戶提供便捷的圖像信息處理方案。

🚀 快速開始

UForm-Gen是一個小型生成式視覺語言模型，主要用於圖像描述和視覺問答。該模型由兩部分組成：

1. 類似CLIP的ViT-H/14
2. Qwen1.5 - 0.5B - Chat

該模型在內部圖像描述數據集上進行了預訓練，並在公共指令數據集（SVIT、LVIS、VQA數據集）上進行了微調。模型在配備8塊H100 GPU的DGX - H100上訓練了一天。感謝 Nebius.ai 提供的計算資源 🤗

✨ 主要特性

• 可用於為圖像添加描述、回答關於圖像的問題。
• 適用於多模態對話。

📦 安裝指南

文檔未提供具體安裝步驟，暫無法展示。

💻 使用示例

基礎用法

from transformers import AutoModel, AutoProcessor

model = AutoModel.from_pretrained("unum-cloud/uform-gen2-qwen-500m", trust_remote_code=True)
processor = AutoProcessor.from_pretrained("unum-cloud/uform-gen2-qwen-500m", trust_remote_code=True)

prompt = "Question or Instruction"
image = Image.open("image.jpg")

inputs = processor(text=[prompt], images=[image], return_tensors="pt")
with torch.inference_mode():
     output = model.generate(
        **inputs,
        do_sample=False,
        use_cache=True,
        max_new_tokens=256,
        eos_token_id=151645,
        pad_token_id=processor.tokenizer.pad_token_id
    )

prompt_len = inputs["input_ids"].shape[1]
decoded_text = processor.batch_decode(output[:, prompt_len:])[0]

你可以在我們的演示空間中查看不同提示的示例。

📚 詳細文檔

評估結果

¹MME分數在求平均值之前先除以2000。

📄 許可證

本項目採用Apache - 2.0許可證。