Uground

🚀 UGround（基於LLaVA的初始版本）

UGround是一個通過簡單方法訓練的強大GUI視覺定位模型。它解決了GUI視覺定位任務中的準確性和效率問題，為相關領域的研究和應用提供了有力支持。本項目由OSU NLP Group和Orby AI合作完成。

⚠️ 重要提示

我們已經基於Qwen2 - VL使用相同數據訓練了更強的模型。建議使用這些模型以獲得更好的性能，以及更便捷的訓練、推理和部署體驗。

• 主頁：https://osu-nlp-group.github.io/UGround/
• 代碼倉庫：https://github.com/OSU-NLP-Group/UGround
• 論文：https://arxiv.org/abs/2410.05243
• 演示：https://huggingface.co/spaces/orby-osu/UGround
• 聯繫人：Boyu Gou

📦 模型信息

🚀 發佈計劃

• [x] 模型權重
  • [x] 初始版本（論文中使用的版本）
  • [x] 基於Qwen2 - VL的V1版本（2B、7B、72B）
• [x] 代碼
  • [x] UGround推理代碼（初始版本和基於Qwen2 - VL的版本）
  • [x] 離線實驗（代碼、結果和有用資源）
    • [x] ScreenSpot
    • [x] Multimodal - Mind2Web
    • [x] OmniAct
    • [x] Android控制
  • [x] 在線實驗
    • [x] Mind2Web - Live - SeeAct - V
    • [x] AndroidWorld - SeeAct - V
  • [ ] 數據合成管道（即將推出）
• [x] 訓練數據（V1）
• [x] 在線演示（HF Spaces）

✨ 主要結果

GUI視覺定位：ScreenSpot（標準設置）

GUI視覺定位：ScreenSpot（代理設置）

📚 引用信息

如果您覺得本工作有用，請考慮引用我們的論文：

@article{gou2024uground,
        title={Navigating the Digital World as Humans Do: Universal Visual Grounding for GUI Agents},
        author={Boyu Gou and Ruohan Wang and Boyuan Zheng and Yanan Xie and Cheng Chang and Yiheng Shu and Huan Sun and Yu Su},
        journal={arXiv preprint arXiv:2410.05243},
        year={2024},
        url={https://arxiv.org/abs/2410.05243},
      }

@article{zheng2023seeact,
        title={GPT-4V(ision) is a Generalist Web Agent, if Grounded},
        author={Boyuan Zheng and Boyu Gou and Jihyung Kil and Huan Sun and Yu Su},
        journal={arXiv preprint arXiv:2401.01614},
        year={2024},
      }