Paligemma 3b Ft Widgetcap Waveui 448

🚀 帕利吉玛 WaveUI

帕利吉玛 WaveUI 基于 Transformers 框架，使用 PaliGemma 3B 448 分辨率权重，并在 WaveUI 数据集上进行微调，用于目标检测任务。该模型为构建智能代理的开源工具包提供了强大的支持。

🚀 快速开始

若要开始使用此模型，请运行以下代码：

from transformers import AutoProcessor, PaliGemmaForConditionalGeneration

model = PaliGemmaForConditionalGeneration.from_pretrained("agentsea/paligemma-3b-ft-widgetcap-waveui-448").eval()
processor = AutoProcessor.from_pretrained("agentsea/paligemma-3b-ft-widgetcap-waveui-448")

✨ 主要特性

• 基于 Paligemma 448 Widgetcap 模型进行微调。
• 使用包含约 80k 个标注 UI 元素示例的 WaveUI 数据集。
• 专注于目标检测任务，尤其擅长 UI 元素检测。
• 可在 此处 查看模型的演示。

📚 详细文档

模型详情

• 开发者：https://agentsea.ai/
• 语言：英语
• 微调基础模型：https://huggingface.co/google/paligemma-3b-ft-widgetcap-448

注意事项

• 该模型仅针对目标检测任务进行微调，在其他类型任务中可能表现不佳。

数据使用

本模型在微调时使用了 WaveUI 数据集。在使用前，对数据进行了预处理，使其符合帕利吉玛的边界框格式。

评估结果

使用 3 种不同的闭源模型（Gemini 1.5 Pro、Claude 3.5 Sonnet 和 GPT 4o）以及帕利吉玛 WaveUI 微调模型，对测试集的 1024 个示例计算平均 IoU，结果如下：