Paligemma 3b Ft Vqav2 224

🚀 PaliGemmaモデルカード

PaliGemmaは、画像とテキストの入力を組み合わせてテキスト出力を生成する、多言語対応の軽量型マルチモーダルビジュアル言語モデル（VLM）です。このモデルは、ビジュアル言語タスクの微調整性能を重視して設計されており、画像や短い動画の字幕生成、ビジュアル質問応答、テキスト読み取り、物体検出、物体セグメンテーションなど、様々なシーンで利用できます。

🚀 クイックスタート

PaliGemmaは単輪のビジュアル言語モデルであり、対話シーンには適していません。特定のユースケースに合わせて微調整すると、最適な性能を発揮します。「detect」や「segment」などのタスクプレフィックスを使用することで、モデルが解決するタスクを設定できます。事前学習モデルは、このような方法で訓練されており、質問応答、字幕生成、セグメンテーションなどの幅広い能力を備えていますが、直接使用するのではなく、特定のタスクに微調整して移行することができます。対話的なテストには、「mix」シリーズのモデルを使用することができます。これらのモデルは、複数のタスクの混合データセットで微調整されています。

想定されるユースケースについては、使用と制限のセクションを参照してください。詳細情報やサンプルについては、ブログ記事をご覧ください。

✨ 主な機能

• 多機能性：画像とテキストの入力を組み合わせてテキスト出力を生成し、多言語をサポートします。
• 軽量性：オープンコンポーネントをベースに構築されており、使用とデプロイが容易です。
• 高性能：質問応答、字幕生成、セグメンテーションなど、様々なビジュアル言語タスクで優れた性能を発揮します。

📦 インストール

8ビットまたは4ビット精度で自動的に推論を実行するには、bitsandbytesをインストールする必要があります。

pip install bitsandbytes accelerate

💻 使用例

基本的な使用法

以下のコードは、CPU上でデフォルトの精度（float32）でPaliGemmaモデルを実行する方法を示しています。

from transformers import AutoProcessor, PaliGemmaForConditionalGeneration
from PIL import Image
import requests
import torch

model_id = "google/paligemma-3b-mix-224"

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg?download=true"
image = Image.open(requests.get(url, stream=True).raw)

model = PaliGemmaForConditionalGeneration.from_pretrained(model_id).eval()
processor = AutoProcessor.from_pretrained(model_id)

# Instruct the model to create a caption in Spanish
prompt = "caption es"
model_inputs = processor(text=prompt, images=image, return_tensors="pt")
input_len = model_inputs["input_ids"].shape[-1]

with torch.inference_mode():
    generation = model.generate(**model_inputs, max_new_tokens=100, do_sample=False)
    generation = generation[0][input_len:]
    decoded = processor.decode(generation, skip_special_tokens=True)
    print(decoded)

出力：Un auto azul estacionado frente a un edificio.

高度な使用法

CUDA上での他の精度での実行

以下のコードは、NVIDIA CUDAカード上でbfloat16精度でモデルを実行する方法を示しています。

from transformers import AutoProcessor, PaliGemmaForConditionalGeneration
from PIL import Image
import requests
import torch

model_id = "google/paligemma-3b-mix-224"
device = "cuda:0"
dtype = torch.bfloat16

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg?download=true"
image = Image.open(requests.get(url, stream=True).raw)

model = PaliGemmaForConditionalGeneration.from_pretrained(
    model_id,
    torch_dtype=dtype,
    device_map=device,
    revision="bfloat16",
).eval()
processor = AutoProcessor.from_pretrained(model_id)

# Instruct the model to create a caption in Spanish
prompt = "caption es"
model_inputs = processor(text=prompt, images=image, return_tensors="pt").to(model.device)
input_len = model_inputs["input_ids"].shape[-1]

with torch.inference_mode():
    generation = model.generate(**model_inputs, max_new_tokens=100, do_sample=False)
    generation = generation[0][input_len:]
    decoded = processor.decode(generation, skip_special_tokens=True)
    print(decoded)

4ビット/8ビット精度でのモデルの読み込み

from transformers import AutoProcessor, PaliGemmaForConditionalGeneration
from PIL import Image
import requests
import torch
from bitsandbytes.nn import BitsAndBytesConfig

model_id = "google/paligemma-3b-mix-224"
device = "cuda:0"
dtype = torch.bfloat16

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg?download=true"
image = Image.open(requests.get(url, stream=True).raw)

quantization_config = BitsAndBytesConfig(load_in_8bit=True)

model = PaliGemmaForConditionalGeneration.from_pretrained(
    model_id, quantization_config=quantization_config
).eval()
processor = AutoProcessor.from_pretrained(model_id)

# Instruct the model to create a caption in Spanish
prompt = "caption es"
model_inputs = processor(text=prompt, images=image, return_tensors="pt").to(model.device)
input_len = model_inputs["input_ids"].shape[-1]

with torch.inference_mode():
    generation = model.generate(**model_inputs, max_new_tokens=100, do_sample=False)
    generation = generation[0][input_len:]
    decoded = processor.decode(generation, skip_special_tokens=True)
    print(decoded)

📚 ドキュメント

モデル情報

モデル概要

PaliGemmaはPaLI - 3にインスパイアされ、SigLIPビジュアルモデルやGemma言語モデルなどのオープンコンポーネントをベースに構築されています。画像とテキストを入力として受け取り、テキスト出力を生成し、多言語をサポートします。

モデルアーキテクチャ

PaliGemmaはTransformerデコーダーとビジュアルTransformer画像エンコーダーで構成され、合計30億個のパラメータを持っています。テキストデコーダーはGemma - 2Bから初期化され、画像エンコーダーはSigLIP - So400m/14から初期化されます。モデルはPaLI - 3の方法に従って訓練されています。

入力と出力

• 入力：画像とテキスト文字列（画像のキャプション生成のためのプロンプトや質問など）
• 出力：入力に基づいて生成されたテキスト（画像のキャプション、質問の回答、物体のバウンディングボックス座標のリスト、またはセグメンテーションコードワードなど）

モデルデータ

• 事前学習データセット：PaliGemmaは以下の混合データセットで事前学習されています。

  • WebLI：WebLI (Web Language Image)は、公共のウェブをベースに構築されたウェブ規模の多言語画像 - テキストデータセットです。様々なWebLI分割を使用して、視覚的な意味理解、物体の位置特定、視覚的な文脈のテキスト理解、多言語能力などの一般的なモデル能力を獲得します。
  • CC3M - 35L：ウェブページから選りすぐられた英語の画像 - 代替テキストペア（Sharma et al., 2018）。Google Cloud Translation APIを使用して、さらに34種類の言語に翻訳されています。
  • VQ²A - CC3M - 35L/VQG - CC3M - 35L：VQ2A - CC3Mのサブセット（Changpinyo et al., 2022a）。Google Cloud Translation APIを使用して、CC3M - 35Lと同じ34種類の言語に翻訳されています。
  • OpenImages：OpenImagesデータセットで手動ルールによって生成された検出と物体感知質問応答（Piergiovanni et al., 2022）。
  • WIT：ウィキペディアから収集された画像とテキスト（Srinivasan et al., 2021）。

• データ責任フィルタリング：クリーンなデータでPaliGemmaを訓練するために、WebLIに以下のフィルタリングが適用されています。

  • 色情画像フィルタリング：色情的な性質を持つと見なされる画像を削除します。
  • テキストセキュリティフィルタリング：不安全なテキストとペアになっている画像を識別してフィルタリングします。不安全なテキストとは、児童性虐待材料、色情コンテンツ、下品な言葉、またはその他の不快な内容を含むテキストを指します。
  • テキスト毒性フィルタリング：Perspective APIを使用して、侮辱的、猥褻的、憎悪的、またはその他の毒性のあると見なされるテキストとペアになっている画像を識別してフィルタリングします。
  • テキスト個人情報フィルタリング：Cloud Data Loss Prevention (DLP) APIを使用して、特定の個人情報やその他の機密データをフィルタリングし、個人情報を保護します。社会保障番号などの識別子やその他の機密情報タイプが削除されます。
  • その他の方法：コンテンツの品質と安全性に基づいてフィルタリングし、当社のポリシーと実践に合致させます。

実装情報

ハードウェア

PaliGemmaは最新世代のテンソル処理ユニット（TPU）ハードウェア（TPUv5e）を使用して訓練されています。

ソフトウェア

訓練にはJAX、Flax、TFDS、およびbig_visionが使用されています。JAXにより、研究員は最新世代のハードウェア（TPUを含む）を利用して、大規模なモデルをより高速かつ効率的に訓練することができます。TFDSはデータセットへのアクセスに使用され、Flaxはモデルアーキテクチャに使用されます。PaliGemmaの微調整コードと推論コードは、big_visionのGitHubリポジトリで公開されています。

評価情報

ベンチマークテスト結果

PaliGemmaの様々な学術的タスクへの移行可能性を検証するために、各タスクで事前学習モデルを微調整しました。さらに、移行タスクの混合データセットを使用して混合モデルを訓練しました。より高い解像度がどのタスクに有益であるかを示すために、異なる解像度での結果を報告しています。重要なことは、これらのタスクとデータセットは事前学習データ混合の一部ではなく、それらの画像はウェブ規模の事前学習データから明示的に除外されているということです。

混合モデル（移行タスクの混合データセットで微調整）

単一タスク（単一タスクで微調整）

📄 ライセンス

このモデルはgemmaライセンスに従います。

• モデルページ：PaliGemma
• リソースと技術文書：
  • Responsible Generative AI Toolkit
  • PaliGemma on Kaggle
  • PaliGemma on Vertex Model Garden
• 使用条件：Terms
• 作者：Google

⚠️ 重要な注意事項

Hugging FaceでPaliGemmaにアクセスするには、Googleの使用許諾を確認して同意する必要があります。Hugging Faceにログインし、以下のボタンをクリックしてください。リクエストはすぐに処理されます。

💡 使用上のヒント

以下のボタンをクリックして許諾を確認してください：Acknowledge license