Paligemma2 10b Pt 224

🚀 PaliGemma 2モデルカード

PaliGemma 2は、視覚言語モデル（VLM）です。このモデルはGemma 2の能力を活用し、画像とテキストの入力を同時に処理し、テキスト出力を生成することができ、複数の言語をサポートしています。このモデルは、画像や短い動画の字幕作成、視覚的な質問応答、テキスト読み取り、物体検出、物体分割など、様々な視覚言語タスクに適しています。

🚀 クイックスタート

Hugging Face上でPaliGemma 2にアクセスするには、Googleの使用許諾を確認し、同意する必要があります。Hugging Faceにログインしていることを確認し、以下のボタンをクリックしてください。リクエストはすぐに処理されます。 [許諾を確認する](Acknowledge license)

モデルページ：PaliGemma

Transformers PaliGemma 2 10Bの重みは、224*224の入力画像と128トークンの入力/出力テキストシーケンスで事前学習されています。このモデルはbfloat16形式で提供され、微調整に使用できます。

リソースと技術文書：

• Kaggle上のPaliGemma 2
• 責任ある生成AIツールキット

利用規約：規約

作者：Google

✨ 主な機能

• マルチモーダル処理：画像とテキストの入力を同時に処理し、テキスト出力を生成することができます。
• 多言語対応：複数の言語をサポートしており、世界各地のユーザーに適しています。
• 高性能微調整：様々な視覚言語タスクで優れた微調整性能を発揮するように設計されています。

💻 使用例

基本的な使用法

from transformers import (
    PaliGemmaProcessor,
    PaliGemmaForConditionalGeneration,
)
from transformers.image_utils import load_image
import torch

model_id = "google/paligemma2-10b-pt-224"

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg"
image = load_image(url)

model = PaliGemmaForConditionalGeneration.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto").eval()
processor = PaliGemmaProcessor.from_pretrained(model_id)

# 事前学習モデルの場合は、プロンプトを空にする
prompt = ""
model_inputs = processor(text=prompt, images=image, return_tensors="pt").to(torch.bfloat16).to(model.device)
input_len = model_inputs["input_ids"].shape[-1]

with torch.inference_mode():
    generation = model.generate(**model_inputs, max_new_tokens=100, do_sample=False)
    generation = generation[0][input_len:]
    decoded = processor.decode(generation, skip_special_tokens=True)
    print(decoded)

こちらのノートブックでは、PaliGemma 2の微調整方法が示されています。

📚 ドキュメント

モデル情報

モデルの概要

PaliGemma 2は、PaliGemma視覚言語モデル（VLM）の更新版で、Gemma 2モデルの能力を融合しています。PaliGemmaシリーズのモデルは、PaLI - 3にインスパイアされ、SigLIP視覚モデルやGemma 2言語モデルなどのオープンコンポーネントをベースに構築されています。このモデルは、画像とテキストを入力として受け取り、テキストを出力として生成し、複数の言語をサポートしています。このモデルは、画像や短い動画の字幕作成、視覚的な質問応答、テキスト読み取り、物体検出、物体分割など、幅広い視覚言語タスクで優れた微調整性能を実現することを目的としています。

モデルアーキテクチャ

PaliGemma 2は、TransformerデコーダーとVision Transformer画像エンコーダーで構成されています。テキストデコーダーは、パラメータサイズが2B、9B、27BのGemma 2から初期化されます。画像エンコーダーは、SigLIP - So400m/14から初期化されます。元のPaliGemmaモデルと同様に、PaliGemma 2はPaLI - 3の方法に従って学習されます。

入力と出力

• 入力：画像とテキスト文字列（画像の字幕プロンプトや質問など）。
• 出力：入力に基づいて生成されたテキスト（画像の字幕、質問の答え、物体の境界ボックス座標のリスト、分割コードなど）。

引用

@article{
    title={PaliGemma 2: A Family of Versatile VLMs for Transfer},
    author={Andreas Steiner and André Susano Pinto and Michael Tschannen and Daniel Keysers and Xiao Wang and Yonatan Bitton and Alexey Gritsenko and Matthias Minderer and Anthony Sherbondy and Shangbang Long and Siyang Qin and Reeve Ingle and Emanuele Bugliarello and Sahar Kazemzadeh and Thomas Mesnard and Ibrahim Alabdulmohsin and Lucas Beyer and Xiaohua Zhai},
    year={2024},
    journal={arXiv preprint arXiv:2412.03555}
}

モデルデータ

事前学習データセット

PaliGemma 2は、以下のデータセットの混合データで事前学習されています：

• WebLI：WebLI（Web Language Image）は、公共のウェブを基に構築されたウェブ規模の多言語画像 - テキストデータセットです。視覚的な意味理解、物体の位置特定、視覚的な文脈のテキスト理解、多言語能力など、一般的なモデル能力を獲得するために、さまざまなWebLI分割が使用されています。
• CC3M - 35L：ウェブページから選りすぐられた英語の画像 - 代替テキストペア（Sharmaら、2018）。Google Cloud Translation APIを使用して、さらに34の言語に翻訳されています。
• VQ²A - CC3M - 35L/VQG - CC3M - 35L：VQ2A - CC3Mのサブセット（Changpinyoら、2022a）で、Google Cloud Translation APIを使用して、CC3M - 35Lと同じ34の言語に翻訳されています。
• OpenImages：OpenImagesデータセットを基に、手作業のルールによって生成された検出と物体認識の質問と答え。
• WIT：ウィキペディアから収集された画像とテキスト（Srinivasanら、2021）。

データ責任フィルタリング

PaliGemma 2が安全で責任あるデータで学習されるように、WebLIには以下のフィルタリング方法が適用されています：

• 色情画像フィルタリング：色情的な性質を持つと見なされる画像を削除します。
• テキストセキュリティフィルタリング：不安全なテキストとペアになっている画像を識別し、フィルタリングします。不安全なテキストには、児童性虐待画像（CSAI）、色情コンテンツ、下品な言葉、その他の不快な内容を含むまたは関連するテキストが含まれます。
• テキスト毒性フィルタリング：Perspective APIを使用して、侮辱的、猥褻的、憎悪的、またはその他の毒性のあると見なされるテキストとペアになっている画像を識別し、フィルタリングします。
• テキスト個人情報フィルタリング：Cloud Data Loss Prevention (DLP) APIを使用して、特定の個人情報やその他の敏感なデータをフィルタリングし、個人情報を保護します。社会保障番号や[その他の敏感な情報タイプ]などの識別子が削除されます。
• その他の方法：コンテンツの品質と安全性に基づき、当社のポリシーと実践に従ってフィルタリングします。

🔧 技術詳細

ハードウェア

PaliGemma 2は、最新世代のテンソル処理ユニット（TPU）ハードウェア（TPUv5e）を使用して学習されています。

ソフトウェア

学習には、JAX、Flax、TFDS、big_visionが使用されています。 JAXにより、研究人員は最新世代のハードウェア（TPUを含む）を利用して、より高速で効率的な大規模モデルの学習を行うことができます。TFDSはデータセットへのアクセスに、Flaxはモデルアーキテクチャに使用されます。PaliGemma 2の微調整コードと推論コードは、big_visionのGitHubリポジトリで公開されています。

📊 評価情報

ベンチマークテスト結果

PaliGemma 2の様々な学術タスクへの移行可能性を検証するために、各タスクで事前学習モデルを微調整しました。より高い解像度がどのタスクに有益かを理解するために、異なる解像度での結果を報告しています。重要なことは、これらのタスクやデータセットは事前学習データの混合に含まれておらず、その画像はウェブ規模の事前学習データから明示的に除外されているということです。

PaliGemma 2のモデル解像度とサイズ別の結果

その他のベンチマーク

[ICDAR 2015 Incidental][icdar2015 - inc]

[Total - Text][total - text]

[FinTabNet][fintabnet]

[PubTabNet][pubtabnet]

[GrandStaff][grandstaff]

[PubChem][pubchem]

• PaliGemma 2 3B、完全一致：94.8

[DOCCI][docci]

• avg#char：平均文字数
• avg#sent：平均文章数
• NES：非含意文章

[MIMIC - CXR][mimic - cxr]

[Visual Spatial Reasoning][vsr]

🛡️ 倫理とセキュリティ

評価方法

私たちの評価方法には、子どもの安全、コンテンツの安全、表現の危険性など、関連するコンテンツポリシーにまたがる構造化された倫理とセキュリティ評価が含まれています。

• 子どもの安全、コンテンツの安全、表現の危険性をカバーするプロンプトに対する人為的な評価。評価方法の詳細については、Gemmaモデルカードを参照してくださいが、画像の字幕作成と視覚的な質問応答の設定を採用しています。
• 画像からテキストへのベンチマーク評価：関連する学術データセット（FairFaceデータセット（Karkkainenら、2021）など）に対するベンチマークテスト。

評価結果

• 倫理とセキュリティ評価の人為的な評価結果は、内部ポリシーにおける子どもの安全、コンテンツの安全、表現の危険性などのカテゴリに関する許容可能な閾値の範囲内に収まっています。
• 強力な内部評価に加えて、Perspective API（閾値0.8）を使用して、FairFaceデータセットから取得した画像の生成字幕に含まれる毒性、冒涜、その他の潜在的な問題を測定しています。各知覚される性別、人種、年齢属性のサブグループで観察された最大値と中央値を報告しています。

📄 使用と制限

想定される用途

オープンな視覚言語モデル（VLM）は、様々な業界や分野で幅広い用途があります。以下はいくつかの可能なアプリケーションシナリオです：

• 画像と動画の理解：画像や動画の字幕、説明、要約を生成する。
• 視覚的な質問応答：画像や動画の内容に関する質問に答える。
• 物体検出と分割：画像や動画内の物体を識別し、分割する。
• テキスト読み取り：画像からテキスト情報を抽出する。

📄 ライセンス

このプロジェクトはgemmaライセンスを採用しています。