Paligemma 3b Ft Widgetcap Waveui 448

🚀 帕利吉瑪 WaveUI

帕利吉瑪 WaveUI 基於 Transformers 框架，使用 PaliGemma 3B 448 分辨率權重，並在 WaveUI 數據集上進行微調，用於目標檢測任務。該模型為構建智能代理的開源工具包提供了強大的支持。

🚀 快速開始

若要開始使用此模型，請運行以下代碼：

from transformers import AutoProcessor, PaliGemmaForConditionalGeneration

model = PaliGemmaForConditionalGeneration.from_pretrained("agentsea/paligemma-3b-ft-widgetcap-waveui-448").eval()
processor = AutoProcessor.from_pretrained("agentsea/paligemma-3b-ft-widgetcap-waveui-448")

✨ 主要特性

• 基於 Paligemma 448 Widgetcap 模型進行微調。
• 使用包含約 80k 個標註 UI 元素示例的 WaveUI 數據集。
• 專注於目標檢測任務，尤其擅長 UI 元素檢測。
• 可在 此處 查看模型的演示。

📚 詳細文檔

模型詳情

• 開發者：https://agentsea.ai/
• 語言：英語
• 微調基礎模型：https://huggingface.co/google/paligemma-3b-ft-widgetcap-448

注意事項

• 該模型僅針對目標檢測任務進行微調，在其他類型任務中可能表現不佳。

數據使用

本模型在微調時使用了 WaveUI 數據集。在使用前，對數據進行了預處理，使其符合帕利吉瑪的邊界框格式。

評估結果

使用 3 種不同的閉源模型（Gemini 1.5 Pro、Claude 3.5 Sonnet 和 GPT 4o）以及帕利吉瑪 WaveUI 微調模型，對測試集的 1024 個示例計算平均 IoU，結果如下：