Uform Gen Chat

🚀 UForm

UForm是一款轻量级多模态人工智能模型，可用于内容理解与生成，主要聚焦于图像描述和视觉问答任务。

🚀 快速开始

安装

pip install uform

命令行演示

运行以下命令：

uform-chat --model unum-cloud/uform-gen-chat --image_path=zebra.jpg
uform-chat --model unum-cloud/uform-gen-chat --image_path=zebra.jpg --device="cuda:0" --fp16

代码调用

from uform.gen_model import VLMForCausalLM, VLMProcessor

model = VLMForCausalLM.from_pretrained("unum-cloud/uform-gen-chat")
processor = VLMProcessor.from_pretrained("unum-cloud/uform-gen-chat")

prompt = "What do you see?"
image = Image.open("zebra.jpg")

inputs = processor(texts=[prompt], images=[image], return_tensors="pt")
with torch.inference_mode():
     output = model.generate(
        **inputs,
        do_sample=False,
        use_cache=True,
        max_new_tokens=128,
        eos_token_id=32001,
        pad_token_id=processor.tokenizer.pad_token_id
    )

prompt_len = inputs["input_ids"].shape[1]
decoded_text = processor.batch_decode(output[:, prompt_len:])[0]

✨ 主要特性

UForm-Gen是一个小型生成式视觉语言模型，主要用于图像描述和视觉问答。该模型由两部分组成：

1. UForm视觉编码器
2. Sheared-LLaMA-1.3B，在指令数据集上进行了手动调优

该模型在以下数据集上进行了预训练：MSCOCO、SBU Captions、Visual Genome、VQAv2、GQA和一些内部数据集。UForm-Gen-Chat是UForm-Gen的SFT版本，用于多模态聊天。

🔧 技术细节

评估指标

在图像描述评估中，我们使用CLIPScore和RefCLIPScore¹进行衡量。

¹ 我们使用了apple/DFN5B-CLIP-ViT-H-14-378 CLIP模型。

📄 许可证

本项目采用apache-2.0许可证。