Uground

🚀 UGround (LLaVAベースの初期バージョン)

更新情報：同じデータを使用してQwen2-VLに基づくより強力なモデルを学習しました。より良いパフォーマンスと、より便利な学習、推論、およびデプロイを行うために、これらのモデルを使用することをおすすめします。

UGroundは、シンプルな手法で学習された強力なGUIビジュアルグラウンディングモデルです。詳細については、ホームページと論文をご確認ください。この研究は、OSU NLP GroupとOrby AIの共同研究です。

• ホームページ: https://osu-nlp-group.github.io/UGround/
• リポジトリ: https://github.com/OSU-NLP-Group/UGround
• 論文: https://arxiv.org/abs/2410.05243
• デモ: https://huggingface.co/spaces/orby-osu/UGround
• 担当者: Boyu Gou

📄 ライセンス

このプロジェクトは、llama2ライセンスの下で提供されています。

✨ 主な機能

UGroundは、シンプルなレシピで学習された強力なGUIビジュアルグラウンディングモデルです。

📚 ドキュメント

モデル

• モデル-V1:
  • 初期のUGround:
  • UGround-V1-2B (Qwen2-VL)
  • UGround-V1-7B (Qwen2-VL)
  • UGround-V1-72B (Qwen2-VL)
  • 学習データ

リリース計画

• [x] モデルの重み
  • [x] 初期バージョン (論文で使用されたもの)
  • [x] Qwen2-VLベースのV1 (2B, 7B, 72B)
• [x] コード
  • [x] UGroundの推論コード (初期版とQwen2-VLベース版)
  • [x] オフライン実験 (コード、結果、および有用なリソース)
    • [x] ScreenSpot
    • [x] Multimodal-Mind2Web
    • [x] OmniAct
    • [x] Androidコントロール
  • [x] オンライン実験
    • [x] Mind2Web-Live-SeeAct-V
    • [x] AndroidWorld-SeeAct-V
  • [ ] データ合成パイプライン (近日公開)
• [x] 学習データ (V1)
• [x] オンラインデモ (HF Spaces)

主な結果

GUIビジュアルグラウンディング: ScreenSpot (標準設定)

GUIビジュアルグラウンディング: ScreenSpot (エージェント設定)

引用情報

この研究が役に立った場合、以下の論文を引用していただけると幸いです。

@article{gou2024uground,
        title={Navigating the Digital World as Humans Do: Universal Visual Grounding for GUI Agents},
        author={Boyu Gou and Ruohan Wang and Boyuan Zheng and Yanan Xie and Cheng Chang and Yiheng Shu and Huan Sun and Yu Su},
        journal={arXiv preprint arXiv:2410.05243},
        year={2024},
        url={https://arxiv.org/abs/2410.05243},
      }

@article{zheng2023seeact,
        title={GPT-4V(ision) is a Generalist Web Agent, if Grounded},
        author={Boyuan Zheng and Boyu Gou and Jihyung Kil and Huan Sun and Yu Su},
        journal={arXiv preprint arXiv:2401.01614},
        year={2024},
      }