Paligemma 3b Ft Waveui 896

🚀 帕利吉瑪 WaveUI

帕利吉瑪 WaveUI 是基於 Transformers 框架，在 PaliGemma 3B 896-res 權重基礎上，使用 WaveUI 數據集針對目標檢測任務進行微調的模型。該模型旨在提升 UI 元素檢測能力，是 AgentSea 開源工具包構建工作的一部分。

🚀 快速開始

若要開始使用此模型，請運行以下代碼：

from transformers import AutoProcessor, PaliGemmaForConditionalGeneration

model = PaliGemmaForConditionalGeneration.from_pretrained("agentsea/paligemma-3b-ft-waveui-896").eval()
processor = AutoProcessor.from_pretrained("agentsea/paligemma-3b-ft-waveui-896")

✨ 主要特性

• 基於 Paligemma 896 模型微調，使用包含約 80k 個標註 UI 元素示例的 WaveUI 數據集。
• 專注於目標檢測任務，尤其擅長 UI 元素檢測。
• 可在 此處 查看模型演示。

📚 詳細文檔

模型詳情

模型描述

本微調模型基於 Paligemma 896 模型，使用 WaveUI 數據集進行微調。該數據集包含約 80k 個標註的 UI 元素示例，微調針對目標檢測任務進行。具體而言，此模型旨在在 UI 元素檢測方面表現出色，是 AgentSea 構建代理開源工具包的一部分。

• 開發者：https://agentsea.ai/
• 語言（NLP）：英語
• 微調基礎模型：https://huggingface.co/google/paligemma-3b-pt-896

演示

你可以在 這裡 找到該模型的 演示。

注意事項

• 微調僅針對目標檢測任務，因此在其他類型任務上可能表現不佳。

數據使用

本微調使用了 WaveUI 數據集。在使用前，我們對數據進行了預處理，使其符合帕利吉瑪的邊界框格式。

評估結果

我們使用 3 種不同的閉源模型（Gemini 1.5 Pro、Claude 3.5 Sonnet 和 GPT 4o）對測試集的 1024 個示例計算了平均 IoU。同時，我們也使用帕利吉瑪 WaveUI 微調模型進行了相同的計算，得到以下結果：