license: apache-2.0 language:

• zh
• en tags:
• AgentCPM-GUI
• gui agent
• android agent
• multimodal base_model:
• openbmb/MiniCPM-V-2_6 pipeline_tag: image-text-to-text

AgentCPM-GUI

GitHub | 技術ブログ

ニュース

• [2025-05-13] üöÄüöÄüöÄ AgentCPM-GUIをオープンソース化しました。これはデバイス上で動作するGUIエージェントで、中国語と英語のアプリを操作でき、RFT強化された推論能力を備えています。

概要

AgentCPM-GUIは、THUNLP、中国人民大学、ModelBestが共同開発したオープンソースのデバイス上LLMエージェントモデルです。MiniCPM-Vをベースにした80億パラメータのモデルで、スマートフォンのスクリーンショットを入力として受け取り、ユーザーが指定したタスクを自律的に実行します。

主な特徴:

• 高品質なGUIグラウンディング — 大規模なバイリンガルAndroidデータセットでの事前学習により、一般的なGUIウィジェット（ボタン、入力ボックス、ラベル、アイコンなど）の位置特定と理解が大幅に向上。
• 中国語アプリ操作 — 中国語アプリ向けに細かくチューニングされた初のオープンソースGUIエージェントで、Amap、Dianping、bilibili、Xiaohongshuなど30以上の人気アプリをカバー。
• 強化された計画と推論 — 強化学習ファインチューニング（RFT）により、モデルはアクションを出力する前に「考え」、複雑なタスクでの成功率が大幅に向上。
• コンパクトなアクション空間設計 — 最適化されたアクション空間と簡潔なJSONフォーマットにより、平均アクション長を9.7トークンに削減し、デバイス上での推論効率を向上。

デモケース（1倍速）:

https://github.com/user-attachments/assets/5472a659-cd71-4bce-a181-0981129c6a81

クイックスタート

依存関係のインストール

git clone https://github.com/OpenBMB/AgentCPM-GUI
cd AgentCPM-GUI
conda create -n gui_agent python=3.11
conda activate gui_agent
pip install -r requirements.txt

モデルのダウンロード

Hugging FaceからAgentCPM-GUIをダウンロードし、model/AgentCPM-GUIに配置します。

Huggingface推論

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
from PIL import Image
import json

# 1. モデルとトークナイザーの読み込み
model_path = "model/AgentCPM-GUI"  # モデルパス
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True, torch_dtype=torch.bfloat16)
model = model.to("cuda:0") 

# 2. 入力の構築
instruction = "请点击屏幕上的‘会员’按钮"
image_path = "assets/test.jpeg"
image = Image.open(image_path).convert("RGB")

# 3. 長辺を1120ピクセルにリサイズして計算とメモリを節約
def __resize__(origin_img):
    resolution = origin_img.size
    w,h = resolution
    max_line_res = 1120
    if max_line_res is not None:
        max_line = max_line_res
        if h > max_line:
            w = int(w * max_line / h)
            h = max_line
        if w > max_line:
            h = int(h * max_line / w)
            w = max_line
    img = origin_img.resize((w,h),resample=Image.Resampling.LANCZOS)
    return img
image = __resize__(image)

# 4. メッセージフォーマットの構築
messages = [{
    "role": "user",
    "content": [
        f"<Question>{instruction}</Question>\n当前屏幕截图：",
        image
    ]
}]

# 5. 推論
ACTION_SCHEMA = json.load(open('eval/utils/schema/schema.json', encoding="utf-8"))
items = list(ACTION_SCHEMA.items())
insert_index = 3
items.insert(insert_index, ("required", ["thought"])) # 思考を有効/無効にするには"required"/"optional"に設定
ACTION_SCHEMA = dict(items)
SYSTEM_PROMPT = f'''# Role
你是一名熟悉安卓系统触屏GUI操作的智能体，将根据用户的问题，分析当前界面的GUI元素和布局，生成相应的操作。

# Task
针对用户问题，根据输入的当前屏幕截图，输出下一步的操作。

# Rule
- 以紧凑JSON格式输出
- 输出操作必须遵循Schema约束

# Schema
{json.dumps(ACTION_SCHEMA, indent=None, ensure_ascii=False, separators=(',', ':'))}'''

outputs = model.chat(
    image=None,
    msgs=messages,
    system_prompt=SYSTEM_PROMPT,
    tokenizer=tokenizer,
    temperature=0.1,
    top_p=0.3,
    n=1,
)

# 6. 出力
print(outputs)

期待される出力:

{"thought":"任务目标是点击屏幕上的‘会员’按钮。当前界面显示了应用的推荐页面，顶部有一个导航栏。点击‘会员’按钮可以访问应用的会员相关内容。","POINT":[729,69]}

vLLM推論

# vLLMサーバーの起動
vllm serve model/AgentCPM-GUI --served-model-name AgentCPM-GUI --tensor_parallel_size 1 --trust-remote-code

import base64
import io
import json
import requests
from PIL import Image

END_POINT = "http://localhost:8000/v1/chat/completions"  # 実際のエンドポイントに置き換え

# システムプロンプト
ACTION_SCHEMA = json.load(open('eval/utils/schema/schema.json', encoding="utf-8"))
items = list(ACTION_SCHEMA.items())
insert_index = 3
items.insert(insert_index, ("required", ["thought"])) # 思考を有効/無効にするには"required"/"optional"に設定
ACTION_SCHEMA = dict(items)
SYSTEM_PROMPT = f'''# Role
你是一名熟悉安卓系统触屏GUI操作的智能体，将根据用户的问题，分析当前界面的GUI元素和布局，生成相应的操作。

# Task
针对用户问题，根据输入的当前屏幕截图，输出下一步的操作。

# Rule
- 以紧凑JSON格式输出
- 输出操作必须遵循Schema约束

# Schema
{json.dumps(ACTION_SCHEMA, indent=None, ensure_ascii=False, separators=(',', ':'))}'''

def encode_image(image: Image.Image) -> str:
    """PIL画像をbase64エンコードされた文字列に変換"""
    with io.BytesIO() as in_mem_file:
        image.save(in_mem_file, format="JPEG")
        in_mem_file.seek(0)
        return base64.b64encode(in_mem_file.read()).decode("utf-8")

def __resize__(origin_img):
    resolution = origin_img.size
    w,h = resolution
    max_line_res = 1120
    if max_line_res is not None:
        max_line = max_line_res
        if h > max_line:
            w = int(w * max_line / h)
            h = max_line
        if w > max_line:
            h = int(h * max_line / w)
            w = max_line
    img = origin_img.resize((w,h),resample=Image.Resampling.LANCZOS)
    return img

def predict(text_prompt: str, image: Image.Image):
    messages = [
        {"role": "system", "content": SYSTEM_PROMPT},
        {"role": "user", "content": [
            {"type": "text", "text": f"<Question>{text_prompt}</Question>\n当前屏幕截图："},
            {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{encode_image(image)}"}}
        ]}
    ]

    payload = {
        "model": "AgentCPM-GUI",  # モデル名
        "temperature": 0.1,
        "messages": messages,
        "max_tokens": 2048,
    }

    headers = {
        "Content-Type": "application/json",
    }

    response = requests.post(END_POINT, headers=headers, json=payload)
    assistant_msg = response.json()["choices"][0]["message"]["content"]
    return assistant_msg

image = __resize__(Image.open("assets/test.jpeg"))
instruction = "请点击屏幕上的‘会员’按钮"
response = predict(instruction, image)
print(response)

アクション空間

各ステップで、エージェントは以下の内容を含む単一のJSONオブジェクトを出力します:

• 以下のリストから選択された1つ（かつ1つだけ）のプリミティブアクション;
• オプションの修飾子（duration、thought）および/またはタスクレベルのフラグ（STATUS）。

すべてのキーワードは大文字と小文字を区別し、コンパクトなJSON（余分な空白なし）を使用していることに注意してください。これはトークナイザーの動作に影響します。

ファインチューニング

SFTとRFTトレーニングのソースコードが提供されています — GitHubを参照してください。

性能評価

グラウンディングベンチマーク

エージェントベンチマーク

*異なるトレイン/テスト分割

TMとEMはそれぞれタイプマッチと完全一致を表します。すべての評価データとコードはオープンソースです — 詳細はこちらを参照してください。

すべての評価データとコードはオープンソースです — 詳細はこちらを参照してください。

評価データ

中国語アプリ向けのCAGUIという評価ベンチマークを提供しています。これはグラウンディングとエージェントタスクをカバーしています。 データセットはHugging Faceで公開されています。

ライセンス

• このリポジトリのコードはApache-2.0ライセンスで公開されています。

引用

AgentCPM-GUIが研究に役立った場合は、以下のように引用してください:

@misc{2025,
  author       = {THUNLP},
  title        = {AgentCPM-GUI},
  year         = {2025},
  publisher    = {GitHub},
  journal      = {GitHub repository},
  howpublished = {\url{https://github.com/OpenBMB/AgentCPM-GUI}}
}