Uform Gen2 Qwen 500m

🚀 UForm

UFormは、コンテンツの理解と生成に特化したポケットサイズのマルチモーダルAIです。画像キャプショニングや視覚的質問応答などのタスクに最適です。

🚀 クイックスタート

UForm-Genは、主に画像キャプショニングと視覚的質問応答を目的とした小型の生成型ビジョン言語モデルです。このモデルは以下の2つの部分で構成されています。

1. CLIPのようなViT-H/14
2. Qwen1.5-0.5B-Chat

このモデルは、内部の画像キャプショニングデータセットで事前学習され、SVIT、LVIS、VQAsデータセットなどの公開命令データセットで微調整されました。DGX-H100の8台のH100 GPUを使用して1日間で学習されました。Nebius.aiに計算資源を提供してくれたことに感謝します 🤗

✨ 主な機能

この生成型モデルは、画像にキャプションを付けたり、画像に関する質問に答えたりすることができます。また、マルチモーダルチャットにも適しています。

💻 使用例

基本的な使用法

from transformers import AutoModel, AutoProcessor

model = AutoModel.from_pretrained("unum-cloud/uform-gen2-qwen-500m", trust_remote_code=True)
processor = AutoProcessor.from_pretrained("unum-cloud/uform-gen2-qwen-500m", trust_remote_code=True)

prompt = "Question or Instruction"
image = Image.open("image.jpg")

inputs = processor(text=[prompt], images=[image], return_tensors="pt")
with torch.inference_mode():
     output = model.generate(
        **inputs,
        do_sample=False,
        use_cache=True,
        max_new_tokens=256,
        eos_token_id=151645,
        pad_token_id=processor.tokenizer.pad_token_id
    )

prompt_len = inputs["input_ids"].shape[1]
decoded_text = processor.batch_decode(output[:, prompt_len:])[0]

異なるプロンプトの例は、デモスペースで確認できます。

📚 ドキュメント

評価

¹MMEスコアは平均化する前に2000で割られています。

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で提供されています。