Uform Gen Chat

🚀 UForm

ポケットサイズのマルチモーダルAI
コンテンツの理解と生成のために

🚀 クイックスタート

UForm-Genは、主に画像キャプショニングと視覚的質問応答のために設計された小型の生成型ビジョン言語モデルです。このモデルは2つの部分から構成されています。

1. UForm Vision Encoder
2. Sheared-LLaMA-1.3B を命令データセットで手動調整したもの

このモデルは、MSCOCO、SBU Captions、Visual Genome、VQAv2、GQA、およびいくつかの内部データセットで事前学習されています。UForm-Gen-Chatは、マルチモーダルチャット用のUForm-Gen のSFTバージョンです。

✨ 主な機能

• 画像キャプショニング
• 視覚的質問応答
• マルチモーダルチャット

📦 インストール

pip install uform

💻 使用例

基本的な使用法

CLIデモを実行するには、以下のコマンドを実行します。

uform-chat --model unum-cloud/uform-gen-chat --image_path=zebra.jpg
uform-chat --model unum-cloud/uform-gen-chat --image_path=zebra.jpg --device="cuda:0" --fp16

高度な使用法

コード内でモデルを使用するには、以下のようにします。

from uform.gen_model import VLMForCausalLM, VLMProcessor

model = VLMForCausalLM.from_pretrained("unum-cloud/uform-gen-chat")
processor = VLMProcessor.from_pretrained("unum-cloud/uform-gen-chat")

prompt = "What do you see?"
image = Image.open("zebra.jpg")

inputs = processor(texts=[prompt], images=[image], return_tensors="pt")
with torch.inference_mode():
     output = model.generate(
        **inputs,
        do_sample=False,
        use_cache=True,
        max_new_tokens=128,
        eos_token_id=32001,
        pad_token_id=processor.tokenizer.pad_token_id
    )

prompt_len = inputs["input_ids"].shape[1]
decoded_text = processor.batch_decode(output[:, prompt_len:])[0]

📚 ドキュメント

キャプショニング評価では、CLIPScoreとRefCLIPScore¹ を測定します。

¹ apple/DFN5B-CLIP-ViT-H-14-378 CLIPモデルを使用しました。

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。