Paligemma 3b Ft Widgetcap Waveui 448

🚀 パリゲンマ WaveUI

TransformersのPaliGemma 3B 448-res weightsを、物体検出のためにWaveUIデータセットでファインチューニングしたモデルです。

🚀 クイックスタート

このモデルを使用するには、以下のコードを実行します。

from transformers import AutoProcessor, PaliGemmaForConditionalGeneration

model = PaliGemmaForConditionalGeneration.from_pretrained("agentsea/paligemma-3b-ft-widgetcap-waveui-448").eval()
processor = AutoProcessor.from_pretrained("agentsea/paligemma-3b-ft-widgetcap-waveui-448")

✨ 主な機能

このモデルは、物体検出タスクに特化しており、UI要素の検出に優れた性能を発揮します。これは、AgentSeaのオープンソースツールキットの一部として、エージェントを構築するための取り組みの一環です。

📚 ドキュメント

モデルの詳細

このファインチューニングは、Paligemma 448 Widgetcapモデルをベースに、WaveUIデータセットを使用して行われました。このデータセットには、約8万件のラベル付きUI要素の例が含まれています。

• 開発元: https://agentsea.ai/
• 言語 (NLP): en
• ファインチューニング元のモデル: https://huggingface.co/google/paligemma-3b-ft-widgetcap-448

デモ

このモデルのデモはこちらで確認できます。

注意事項

ファインチューニングに使用されたのは物体検出タスクのみであるため、他のタイプのタスクでは性能が低下する可能性があります。

データ

このファインチューニングにはWaveUIデータセットを使用しました。使用前に、データをPaliGemmaのバウンディングボックス形式に前処理しました。

評価

テストセットの1024件の例に対して、3つの異なるクローズドソースモデル（Gemini 1.5 Pro、Claude 3.5 Sonnet、GPT 4o）を使用して平均IoUを計算しました。また、PaliGemma WaveUIのファインチューニングモデルでも同じ計算を行いました。結果は以下の通りです。