Paligemma 3b Ft Waveui 896

🚀 帕利吉玛 WaveUI

帕利吉玛 WaveUI 是基于 Transformers 框架，在 PaliGemma 3B 896-res 权重基础上，使用 WaveUI 数据集针对目标检测任务进行微调的模型。该模型旨在提升 UI 元素检测能力，是 AgentSea 开源工具包构建工作的一部分。

🚀 快速开始

若要开始使用此模型，请运行以下代码：

from transformers import AutoProcessor, PaliGemmaForConditionalGeneration

model = PaliGemmaForConditionalGeneration.from_pretrained("agentsea/paligemma-3b-ft-waveui-896").eval()
processor = AutoProcessor.from_pretrained("agentsea/paligemma-3b-ft-waveui-896")

✨ 主要特性

• 基于 Paligemma 896 模型微调，使用包含约 80k 个标注 UI 元素示例的 WaveUI 数据集。
• 专注于目标检测任务，尤其擅长 UI 元素检测。
• 可在 此处 查看模型演示。

📚 详细文档

模型详情

模型描述

本微调模型基于 Paligemma 896 模型，使用 WaveUI 数据集进行微调。该数据集包含约 80k 个标注的 UI 元素示例，微调针对目标检测任务进行。具体而言，此模型旨在在 UI 元素检测方面表现出色，是 AgentSea 构建代理开源工具包的一部分。

• 开发者：https://agentsea.ai/
• 语言（NLP）：英语
• 微调基础模型：https://huggingface.co/google/paligemma-3b-pt-896

演示

你可以在 这里 找到该模型的 演示。

注意事项

• 微调仅针对目标检测任务，因此在其他类型任务上可能表现不佳。

数据使用

本微调使用了 WaveUI 数据集。在使用前，我们对数据进行了预处理，使其符合帕利吉玛的边界框格式。

评估结果

我们使用 3 种不同的闭源模型（Gemini 1.5 Pro、Claude 3.5 Sonnet 和 GPT 4o）对测试集的 1024 个示例计算了平均 IoU。同时，我们也使用帕利吉玛 WaveUI 微调模型进行了相同的计算，得到以下结果：