Uform Gen

🚀 UForm

UForm是一款轻量级的多模态人工智能模型，可用于内容理解与生成，尤其在图像描述和视觉问答任务中表现出色。

🚀 快速开始

安装

pip install uform

使用

生成式模型可用于为图像添加描述、总结图像内容或回答有关图像的问题，具体行为由提示词控制。

from uform.gen_model import VLMForCausalLM, VLMProcessor

model = VLMForCausalLM.from_pretrained("unum-cloud/uform-gen")
processor = VLMProcessor.from_pretrained("unum-cloud/uform-gen")

# [cap] 精确描述图像内容。
# [cap] 总结图像的视觉内容。
# [vqa] 图像的主要主题是什么？
prompt = "[cap] Summarize the visual content of the image."
image = Image.open("zebra.jpg")

inputs = processor(texts=[prompt], images=[image], return_tensors="pt")
with torch.inference_mode():
     output = model.generate(
        **inputs,
        do_sample=False,
        use_cache=True,
        max_new_tokens=128,
        eos_token_id=32001,
        pad_token_id=processor.tokenizer.pad_token_id
    )

prompt_len = inputs["input_ids"].shape[1]
decoded_text = processor.batch_decode(output[:, prompt_len:])[0]

✨ 主要特性

• UForm-Gen是一个小型生成式视觉语言模型，主要用于图像描述和视觉问答。
• 模型由两部分组成：
  1. uform-vl-english 视觉编码器
  2. 在指令数据集上微调的 Sheared-LLaMA-1.3B 语言模型
• 模型在以下数据集上进行了预训练：MSCOCO、SBU Captions、Visual Genome、VQAv2、GQA 和一些内部数据集。

📚 详细文档

评估

图像描述评估

我们使用CLIPScore和RefCLIPScore¹ 来评估图像描述性能。

VQAv2评估

¹ 我们使用了 apple/DFN5B-CLIP-ViT-H-14-378 CLIP 模型。

速度

在RTX 3090上，使用 float16、等效的PyTorch设置和贪心解码，文本令牌生成的预期性能如下：

📄 许可证

本项目采用 apache-2.0 许可证。

模型相关信息