Paligemma2 3b Pt 896

🚀 PaliGemma 2モデルカード

PaliGemma 2は、画像とテキストの入力を組み合わせて、テキスト出力を生成する多言語対応の視覚言語モデルです。このモデルは、様々な視覚言語タスクで優れた性能を発揮し、画像や短い動画の字幕作成、視覚的な質問応答、テキスト読み取りなどのシーンに適しています。

🚀 クイックスタート

Hugging Face上でPaliGemmaにアクセスするには、Googleの使用許諾を確認して同意する必要があります。Hugging Faceにログインした状態で、以下のボタンをクリックすると、リクエストがすぐに処理されます。 [許諾を確認する](Acknowledge license)

以下のコードスニペットは、モデルgoogle/paligemma2-3b-pt-896を例にしています。これはベースモデルであり、下流タスクでの使用には微調整することをおすすめします。

こちらにノートブックがあり、PaliGemma 2をどのように微調整するかを示しています。

from transformers import (
    PaliGemmaProcessor,
    PaliGemmaForConditionalGeneration,
)
from transformers.image_utils import load_image
import torch

model_id = "google/paligemma2-3b-pt-896"

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg"
image = load_image(url)

model = PaliGemmaForConditionalGeneration.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto").eval()
processor = PaliGemmaProcessor.from_pretrained(model_id)

# 事前学習モデルのプロンプトを空白にする
prompt = ""
model_inputs = processor(text=prompt, images=image, return_tensors="pt").to(torch.bfloat16).to(model.device)
input_len = model_inputs["input_ids"].shape[-1]

with torch.inference_mode():
    generation = model.generate(**model_inputs, max_new_tokens=100, do_sample=False)
    generation = generation[0][input_len:]
    decoded = processor.decode(generation, skip_special_tokens=True)
    print(decoded)

✨ 主な機能

• マルチモーダル入出力：画像とテキストを入力として受け取り、テキスト出力を生成し、多言語をサポートします。
• 幅広いタスクサポート：画像や短い動画の字幕作成、視覚的な質問応答、テキスト読み取り、物体検出や物体分割など、様々な視覚言語タスクに対応しています。
• 高性能な微調整：様々な視覚言語タスクで、優れた微調整性能を発揮します。

📚 ドキュメント

モデル情報

モデルの概要

PaliGemma 2は、PaliGemma視覚言語モデル（VLM）の更新版で、Gemma 2モデルの能力を融合しています。PaliGemmaシリーズのモデルは、PaLI - 3にインスパイアされ、SigLIP視覚モデルやGemma 2言語モデルなどのオープンコンポーネントをベースに構築されています。画像とテキストを入力として受け取り、テキスト出力を生成し、複数の言語をサポートし、画像や短い動画の字幕作成、視覚的な質問応答、テキスト読み取り、物体検出や物体分割など、幅広い視覚言語タスクで優れた微調整性能を提供することを目的としています。

モデルアーキテクチャ

PaliGemma 2は、TransformerデコーダーとVision Transformer画像エンコーダーで構成されています。テキストデコーダーは、パラメータサイズが2B、9B、27BのGemma 2から初期化されます。画像エンコーダーは、SigLIP - So400m/14から初期化されます。元のPaliGemmaモデルと同様に、PaliGemma 2はPaLI - 3の方法で訓練されています。

入力と出力

• 入力：画像とテキスト文字列（画像字幕のプロンプトや質問など）
• 出力：入力に基づいて生成されたテキスト（画像字幕、質問の答え、物体の境界ボックス座標のリスト、分割コードなど）

引用

@article{
    title={PaliGemma 2: A Family of Versatile VLMs for Transfer},
    author={Andreas Steiner and André Susano Pinto and Michael Tschannen and Daniel Keysers and Xiao Wang and Yonatan Bitton and Alexey Gritsenko and Matthias Minderer and Anthony Sherbondy and Shangbang Long and Siyang Qin and Reeve Ingle and Emanuele Bugliarello and Sahar Kazemzadeh and Thomas Mesnard and Ibrahim Alabdulmohsin and Lucas Beyer and Xiaohua Zhai},
    year={2024},
    journal={arXiv preprint arXiv:2412.03555}
}

モデルデータ

事前学習データセット

PaliGemma 2は、以下の混合データセットで事前学習されています。

• WebLI：WebLI (Web Language Image)は、公共のウェブを基に構築されたウェブ規模の多言語画像 - テキストデータセットです。視覚的な意味理解、物体の位置特定、視覚的な文脈テキスト理解、多言語能力などの汎用的なモデル能力を獲得するために、複数のWebLI分割が使用されています。
• CC3M - 35L：ウェブページから精心選択された英語の画像 - 代替テキストペア(Sharma et al., 2018)。Google Cloud Translation APIを使用して、さらに34の言語に翻訳されています。
• VQ²A - CC3M - 35L/VQG - CC3M - 35L：VQ2A - CC3Mのサブセット(Changpinyo et al., 2022a)で、Google Cloud Translation APIを使用して、CC3M - 35Lと同じ34の言語に翻訳されています。
• OpenImages：検出と物体認識の質問応答(Piergiovanni et al. 2022)で、[OpenImagesデータセット]上で手動ルールにより生成されています。
• WIT：ウィキペディアから収集された画像とテキスト(Srinivasan et al., 2021)。

データ責任フィルタリング

PaliGemma 2を安全で責任あるデータで訓練するために、WebLIには以下のフィルタリングが適用されています。

• 色情画像フィルタリング：色情的な性質と見なされる画像をフィルタリングします。
• テキストセキュリティフィルタリング：不安全なテキスト（児童性虐待画像（CSAI）、色情コンテンツ、下品な言葉、その他の不快なコンテンツを含むまたは関連するテキスト）とペアになった画像を識別してフィルタリングします。
• テキスト毒性フィルタリング：Perspective APIを使用して、侮辱的、猥褻的、仇恨的、その他の毒性のあると見なされるテキストとペアになった画像を識別してフィルタリングします。
• テキスト個人情報フィルタリング：Cloud Data Loss Prevention (DLP) APIを使用して、特定の個人情報やその他の敏感なデータをフィルタリングし、個人のプライバシーを保護します。社会保障番号や[その他の敏感な情報タイプ]などの識別子が削除されています。
• その他の方法：コンテンツの品質と安全性に基づいて、当社のポリシーと実践に従ってフィルタリングを行います。

技術詳細

ハードウェア

PaliGemma 2は、最新世代のテンソル処理ユニット（TPU）ハードウェア（TPUv5e）を使用して訓練されています。

ソフトウェア

JAX、Flax、TFDS、big_visionを使用して訓練が行われています。

JAXにより、研究員は最新世代のハードウェア（TPUを含む）を利用して、大型モデルをより高速かつ効率的に訓練することができます。

TFDSはデータセットへのアクセスに、Flaxはモデルアーキテクチャに使用されています。PaliGemma 2の微調整コードと推論コードは、big_visionのGitHubリポジトリで公開されています。

評価情報

ベンチマークテスト結果

PaliGemma 2の様々な学術タスクでの転移可能性を検証するために、各タスクで事前学習モデルを微調整しています。異なる解像度での結果を報告し、どのタスクがより高い解像度から恩恵を受けるかを把握しています。重要なことは、これらのタスクやデータセットは事前学習データ混合の一部ではなく、それらの画像はウェブ規模の事前学習データから明確に除外されているということです。

PaliGemma 2のモデル解像度とサイズ別の結果

追加のベンチマーク

[ICDAR 2015 Incidental][icdar2015 - inc]

[Total - Text][total - text]

[FinTabNet][fintabnet]

[PubTabNet][pubtabnet]

[GrandStaff][grandstaff]

[PubChem][pubchem]

• PaliGemma 2 3B、完全一致：94.8

[DOCCI][docci]

• 平均文字数：平均文字数
• 平均文数：平均文数
• 非含意文の割合：非含意文の割合

[MIMIC - CXR][mimic - cxr]

[Visual Spatial Reasoning][vsr]

倫理とセキュリティ

評価方法

当社の評価方法には、関連するコンテンツポリシーにまたがる構造化された倫理とセキュリティ評価が含まれています。

• 子供の安全、コンテンツの安全、表現の危害をカバーするプロンプトに対する人為的な評価。評価方法の詳細については、Gemmaモデルカードを参照してくださいが、画像字幕と視覚的な質問応答の設定を採用しています。
• 画像からテキストへのベンチマーク評価：関連する学術データセット（FairFaceデータセット(Karkkainen et al., 2021)など）に対するベンチマークテスト。

評価結果

• 倫理とセキュリティ評価の人為的な評価結果は、子供の安全、コンテンツの安全、表現の危害などのカテゴリに関する内部ポリシーの許容範囲内です。
• 強力な内部評価に加えて、Perspective API（閾値0.8）を使用して、FairFaceデータセットから取得した画像の生成字幕の毒性、猥褻、その他の潜在的な問題を測定しています。各知覚される性別、人種、年齢属性のサブグループで観察された最大値と中央値を報告しています。

使用と制限

想定される用途

オープン視覚言語モデル（VLM）は、様々な業界や分野で幅広い応用が可能です。以下はいくつかの応用シーンです。

• 画像と動画の理解：画像や短い動画の字幕を生成し、画像の内容に関する質問に答えます。
• 視覚的な検索：テキストクエリを使って関連する画像を検索します。
• 支援設計：テキスト記述に基づいて設計スケッチや画像を生成します。
• 教育：学生が画像内の情報を理解し、視覚的な学習を行うのを支援します。

制限

• データの偏り：モデルの性能は、事前学習データの偏りの影響を受ける可能性があり、特定のタスクや分野での性能が低下することがあります。
• セキュリティと倫理の問題：データフィルタリングを行っていますが、モデルは偏見、差別、その他の不適切な内容を含む出力を生成する可能性があります。
• 計算リソースの要件：モデルの訓練と微調整には、大量の計算リソースと時間が必要です。

📄 ライセンス

このモデルは、Gemmaライセンスに従っています。

モデルページ

PaliGemma

リソースと技術ドキュメント

• PaliGemma 2 on Kaggle
• Responsible Generative AI Toolkit

使用条件

条件

著者

Google