GUI Actor 2B Qwen2 VL

🚀 GUI-Actor-2B（Qwen2-VL-2BをバックボーンVLMとする）

このモデルは論文 GUI-Actor: Coordinate-Free Visual Grounding for GUI Agents で紹介されました。Qwen2-VL-2B-Instruct をベースに開発され、注意力ベースのアクションヘッドを追加し、こちらのデータセット（近日公開） を使用してGUIグラウンディングを行うように微調整されています。

モデルの設計と評価の詳細については、üè† プロジェクトページ | üíª Githubリポジトリ | üìë 論文 をご確認ください。

✨ 主な機能

このモデルは、GUIエージェントのための座標フリーな視覚グラウンディングを行うことができます。Qwen2-VLをバックボーンとして使用し、注意力ベースのアクションヘッドを追加することで、GUIグラウンディングタスクに特化した性能を発揮します。

📚 ドキュメント

üìä GUIグラウンディングベンチマークでの性能比較

表1. Qwen2-VL をバックボーンとする ScreenSpot-Pro、ScreenSpot、および ScreenSpot-v2 での主要な結果。 ‚Ć はHuggingface上の公式モデルを独自に評価して得られたスコアを示します。

表2. Qwen2.5-VL をバックボーンとする ScreenSpot-Pro および ScreenSpot-v2 での主要な結果。

💻 使用例

基本的な使用法

import torch

from qwen_vl_utils import process_vision_info
from datasets import load_dataset
from transformers import Qwen2VLProcessor
from gui_actor.constants import chat_template
from gui_actor.modeling import Qwen2VLForConditionalGenerationWithPointer
from gui_actor.inference import inference


# モデルの読み込み
model_name_or_path = "microsoft/GUI-Actor-2B-Qwen2-VL"
data_processor = Qwen2VLProcessor.from_pretrained(model_name_or_path)
tokenizer = data_processor.tokenizer
model = Qwen2VLForConditionalGenerationWithPointer.from_pretrained(
    model_name_or_path,
    torch_dtype=torch.bfloat16,
    device_map="cuda:0",
    attn_implementation="flash_attention_2"
).eval()

# サンプルの準備
dataset = load_dataset("rootsautomation/ScreenSpot")["test"]
example = dataset[0]
print(f"指示: {example['instruction']}")
print(f"正解のアクション領域 (x1, y1, x2, y2): {[round(i, 2) for i in example['bbox']]}")

conversation = [
    {
        "role": "system",
        "content": [
            {
                "type": "text",
                "text": "あなたはGUIエージェントです。タスクと画面のスクリーンショットが与えられます。タスクを完了するために一連のpyautoguiアクションを実行する必要があります。",
            }
        ]
    },
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": example["image"], # PIL.Image.Imageまたはパスの文字列
                # "image_url": "https://xxxxx.png" または "https://xxxxx.jpg" または "file://xxxxx.png" または "data:image/png;base64,xxxxxxxx"、"base64," で分割されます
            },
            {
                "type": "text",
                "text": example["instruction"]
            },
        ],
    },
]

# 推論
pred = inference(conversation, model, tokenizer, data_processor, use_placeholder=True, topk=3)
px, py = pred["topk_points"][0]
print(f"予測されたクリックポイント: [{round(px, 4)}, {round(py, 4)}]")

# >> モデルの応答
# 指示: このウィンドウを閉じる
# 正解のアクション領域 (x1, y1, x2, y2): [0.9479, 0.1444, 0.9938, 0.2074]
# 予測されたクリックポイント: [0.9709, 0.1548]

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

üìù 引用

@article{wu2025guiactor,
    title={GUI-Actor: Coordinate-Free Visual Grounding for GUI Agents}, 
    author={Qianhui Wu and Kanzhi Cheng and Rui Yang and Chaoyun Zhang and Jianwei Yang and Huiqiang Jiang and Jian Mu and Baolin Peng and Bo Qiao and Reuben Tan and Si Qin and Lars Liden and Qingwei Lin and Huan Zhang and Tong Zhang and Jianbing Zhang and Dongmei Zhang and Jianfeng Gao},
    year={2025},
    eprint={2506.03143},
    archivePrefix={arXiv},
    primaryClass={cs.CV},
    url={https://www.arxiv.org/pdf/2506.03143},
}