Omniparser V2.0

🚀 OmniParser - 通用屏幕解析工具

OmniParser 是一款通用的屏幕解析工具，它能夠將 UI 截圖解釋並轉換為結構化格式，從而提升現有的基於大語言模型（LLM）的 UI 代理的性能。

📢 [GitHub 倉庫] [OmniParser V2 博客文章] Huggingface 演示

🚀 快速開始

OmniParser 旨在將非結構化的截圖圖像轉換為結構化的元素列表，其中包括可交互區域的位置以及圖標潛在功能的描述。

✨ 主要特性

模型概述

OmniParser 是一個通用的屏幕解析工具，可將 UI 截圖解釋/轉換為結構化格式，以改進現有的基於大語言模型的 UI 代理。訓練數據集包括：

1. 一個可交互圖標檢測數據集，該數據集從流行的網頁中精心挑選，並進行了自動標註，以突出可點擊和可操作的區域。
2. 一個圖標描述數據集，旨在將每個 UI 元素與其相應的功能關聯起來。

此模型中心分別包含在上述數據集上微調後的 YOLOv8 版本和 Florence - 2 基礎模型。有關所使用的模型和微調的更多詳細信息，請參考論文。

V2 版本新特性

• 更大更乾淨的圖標字幕 + 定位數據集：提供了更豐富和準確的數據支持。
• 延遲顯著降低：與 V1 相比，延遲改善了 60%。在 A100 上平均延遲為 0.6 秒/幀，在單張 4090 上為 0.8 秒。
• 強大的性能表現：在 ScreenSpot Pro 上的平均準確率達到 39.6。
• 單一工具控制：你的代理只需要一個工具：OmniTool。使用 OmniParser + 你選擇的視覺模型來控制 Windows 11 虛擬機。OmniTool 支持以下開箱即用的大語言模型 - OpenAI (4o/o1/o3 - mini)、DeepSeek (R1)、Qwen (2.5VL) 或 Anthropic Computer Use。詳情請查看我們的 GitHub 倉庫。

📚 詳細文檔

負責任的人工智能考量

預期用途

• OmniParser 旨在將非結構化的截圖圖像轉換為結構化的元素列表，包括可交互區域的位置和圖標潛在功能的描述。
• OmniParser 適用於用戶已經接受過負責任的分析方法培訓並需要進行批判性推理的場景。OmniParser 能夠從截圖中提取信息，但需要人工對其輸出進行判斷。
• OmniParser 可用於各種截圖，包括 PC 和手機的截圖，以及各種應用程序的截圖。

侷限性

• OmniParser 旨在忠實地將截圖圖像轉換為可交互區域和屏幕語義的結構化元素，但其不會檢測輸入中的有害內容（就像用戶可以自由決定任何大語言模型的輸入一樣），因此用戶應提供無害的輸入。
• 雖然 OmniParser 僅將截圖圖像轉換為文本，但它可用於構建基於大語言模型的可操作 GUI 代理。在使用 OmniParser 開發和操作代理時，開發人員需要承擔責任並遵循常見的安全標準。

📄 許可證

請注意，icon_detect 模型遵循 AGPL 許可證，icon_caption 遵循 MIT 許可證。請參考每個模型文件夾中的 LICENSE 文件。