Uform Gen Chat

🚀 UForm

UForm是一款輕量級多模態人工智能模型，可用於內容理解與生成，主要聚焦於圖像描述和視覺問答任務。

🚀 快速開始

安裝

pip install uform

命令行演示

運行以下命令：

uform-chat --model unum-cloud/uform-gen-chat --image_path=zebra.jpg
uform-chat --model unum-cloud/uform-gen-chat --image_path=zebra.jpg --device="cuda:0" --fp16

代碼調用

from uform.gen_model import VLMForCausalLM, VLMProcessor

model = VLMForCausalLM.from_pretrained("unum-cloud/uform-gen-chat")
processor = VLMProcessor.from_pretrained("unum-cloud/uform-gen-chat")

prompt = "What do you see?"
image = Image.open("zebra.jpg")

inputs = processor(texts=[prompt], images=[image], return_tensors="pt")
with torch.inference_mode():
     output = model.generate(
        **inputs,
        do_sample=False,
        use_cache=True,
        max_new_tokens=128,
        eos_token_id=32001,
        pad_token_id=processor.tokenizer.pad_token_id
    )

prompt_len = inputs["input_ids"].shape[1]
decoded_text = processor.batch_decode(output[:, prompt_len:])[0]

✨ 主要特性

UForm-Gen是一個小型生成式視覺語言模型，主要用於圖像描述和視覺問答。該模型由兩部分組成：

1. UForm視覺編碼器
2. Sheared-LLaMA-1.3B，在指令數據集上進行了手動調優

該模型在以下數據集上進行了預訓練：MSCOCO、SBU Captions、Visual Genome、VQAv2、GQA和一些內部數據集。UForm-Gen-Chat是UForm-Gen的SFT版本，用於多模態聊天。

🔧 技術細節

評估指標

在圖像描述評估中，我們使用CLIPScore和RefCLIPScore¹進行衡量。

¹ 我們使用了apple/DFN5B-CLIP-ViT-H-14-378 CLIP模型。

📄 許可證

本項目採用apache-2.0許可證。