Uform Gen

🚀 UForm

UForm是一款輕量級的多模態人工智能模型，可用於內容理解與生成，尤其在圖像描述和視覺問答任務中表現出色。

🚀 快速開始

安裝

pip install uform

使用

生成式模型可用於為圖像添加描述、總結圖像內容或回答有關圖像的問題，具體行為由提示詞控制。

from uform.gen_model import VLMForCausalLM, VLMProcessor

model = VLMForCausalLM.from_pretrained("unum-cloud/uform-gen")
processor = VLMProcessor.from_pretrained("unum-cloud/uform-gen")

# [cap] 精確描述圖像內容。
# [cap] 總結圖像的視覺內容。
# [vqa] 圖像的主要主題是什麼？
prompt = "[cap] Summarize the visual content of the image."
image = Image.open("zebra.jpg")

inputs = processor(texts=[prompt], images=[image], return_tensors="pt")
with torch.inference_mode():
     output = model.generate(
        **inputs,
        do_sample=False,
        use_cache=True,
        max_new_tokens=128,
        eos_token_id=32001,
        pad_token_id=processor.tokenizer.pad_token_id
    )

prompt_len = inputs["input_ids"].shape[1]
decoded_text = processor.batch_decode(output[:, prompt_len:])[0]

✨ 主要特性

• UForm-Gen是一個小型生成式視覺語言模型，主要用於圖像描述和視覺問答。
• 模型由兩部分組成：
  1. uform-vl-english 視覺編碼器
  2. 在指令數據集上微調的 Sheared-LLaMA-1.3B 語言模型
• 模型在以下數據集上進行了預訓練：MSCOCO、SBU Captions、Visual Genome、VQAv2、GQA 和一些內部數據集。

📚 詳細文檔

評估

圖像描述評估

我們使用CLIPScore和RefCLIPScore¹ 來評估圖像描述性能。

VQAv2評估

¹ 我們使用了 apple/DFN5B-CLIP-ViT-H-14-378 CLIP 模型。

速度

在RTX 3090上，使用 float16、等效的PyTorch設置和貪心解碼，文本令牌生成的預期性能如下：

📄 許可證

本項目採用 apache-2.0 許可證。

模型相關信息