Uform Gen

🚀 UForm

ポケットサイズのマルチモーダルAI
コンテンツの理解と生成のために

🚀 クイックスタート

UForm-Genは、主に画像キャプショニングと視覚的質問応答のために設計された小型の生成型ビジョン言語モデルです。このモデルは2つの部分で構成されています。

1. uform-vl-english ビジュアルエンコーダ
2. 命令データセットで微調整された Sheared-LLaMA-1.3B 言語モデル

このモデルは、MSCOCO、SBU Captions、Visual Genome、VQAv2、GQA およびいくつかの内部データセットで事前学習されています。

✨ 主な機能

• 画像キャプショニング
• 視覚的質問応答
• 画像内容の要約

📦 インストール

pip install uform

💻 使用例

基本的な使用法

from uform.gen_model import VLMForCausalLM, VLMProcessor

model = VLMForCausalLM.from_pretrained("unum-cloud/uform-gen")
processor = VLMProcessor.from_pretrained("unum-cloud/uform-gen")

# [cap] Narrate the contents of the image with precision.
# [cap] Summarize the visual content of the image.
# [vqa] What is the main subject of the image?
prompt = "[cap] Summarize the visual content of the image."
image = Image.open("zebra.jpg")

inputs = processor(texts=[prompt], images=[image], return_tensors="pt")
with torch.inference_mode():
     output = model.generate(
        **inputs,
        do_sample=False,
        use_cache=True,
        max_new_tokens=128,
        eos_token_id=32001,
        pad_token_id=processor.tokenizer.pad_token_id
    )

prompt_len = inputs["input_ids"].shape[1]
decoded_text = processor.batch_decode(output[:, prompt_len:])[0]

📚 ドキュメント

評価

画像キャプショニングの評価では、CLIPScoreとRefCLIPScore¹を測定します。

VQAv2評価の結果です。

¹ apple/DFN5B-CLIP-ViT-H-14-378 CLIPモデルを使用しました。

速度

RTX 3090では、float16、同等のPyTorch設定、および貪欲復号を使用したテキストトークン生成で、以下のパフォーマンスが期待されます。

📄 ライセンス

このプロジェクトは apache-2.0 ライセンスの下で公開されています。