Paligemma 3b Ft Scicap 448

🚀 PaliGemmaモデルカード

PaliGemmaは、画像とテキストの入力を組み合わせてテキスト出力を生成する、多言語対応の軽量型マルチモーダルモデルです。このモデルはオープンコンポーネントを基に構築されており、画像や短い動画の字幕生成、ビジュアルQA、テキスト読み取り、物体検出、物体セグメンテーションなど、さまざまなビジュアル言語タスクに対応しています。

モデル情報

モデルページ

PaliGemma

リソースと技術ドキュメント

• Responsible Generative AI Toolkit
• PaliGemma on Kaggle
• PaliGemma on Vertex Model Garden

使用条項

Terms

作者

Google

✨ 主な機能

• 多機能性：画像とテキストの入力をサポートし、質問応答、字幕生成、セグメンテーションなど、様々なビジュアル言語タスクを実行できます。
• 多言語対応：複数の言語の入力と出力を処理できます。
• 軽量設計：様々なシナリオでの微調整に適しています。

📦 インストール

8ビットまたは4ビット精度で自動的に推論を実行するには、bitsandbytesをインストールする必要があります。

pip install bitsandbytes accelerate

💻 使用例

基本的な使用法

以下のコードは、CPU上でデフォルトの精度（float32）でPaliGemmaモデルを実行する方法を示しています。

from transformers import AutoProcessor, PaliGemmaForConditionalGeneration
from PIL import Image
import requests
import torch

model_id = "google/paligemma-3b-mix-224"

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg?download=true"
image = Image.open(requests.get(url, stream=True).raw)

model = PaliGemmaForConditionalGeneration.from_pretrained(model_id).eval()
processor = AutoProcessor.from_pretrained(model_id)

# モデルにスペイン語の字幕を作成するよう指示する
prompt = "caption es"
model_inputs = processor(text=prompt, images=image, return_tensors="pt")
input_len = model_inputs["input_ids"].shape[-1]

with torch.inference_mode():
    generation = model.generate(**model_inputs, max_new_tokens=100, do_sample=False)
    generation = generation[0][input_len:]
    decoded = processor.decode(generation, skip_special_tokens=True)
    print(decoded)

出力: Un auto azul estacionado frente a un edificio.

高度な使用法

CUDA上での他の精度での実行

以下のコードは、NVIDIA CUDAカード上でbfloat16精度でモデルを実行する方法を示しています。

from transformers import AutoProcessor, PaliGemmaForConditionalGeneration
from PIL import Image
import requests
import torch

model_id = "google/paligemma-3b-mix-224"
device = "cuda:0"
dtype = torch.bfloat16

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg?download=true"
image = Image.open(requests.get(url, stream=True).raw)

model = PaliGemmaForConditionalGeneration.from_pretrained(
    model_id,
    torch_dtype=dtype,
    device_map=device,
    revision="bfloat16",
).eval()
processor = AutoProcessor.from_pretrained(model_id)

# モデルにスペイン語の字幕を作成するよう指示する
prompt = "caption es"
model_inputs = processor(text=prompt, images=image, return_tensors="pt").to(model.device)
input_len = model_inputs["input_ids"].shape[-1]

with torch.inference_mode():
    generation = model.generate(**model_inputs, max_new_tokens=100, do_sample=False)
    generation = generation[0][input_len:]
    decoded = processor.decode(generation, skip_special_tokens=True)
    print(decoded)

4ビット/8ビット精度でのモデルの読み込み

from transformers import AutoProcessor, PaliGemmaForConditionalGeneration
from PIL import Image
import requests
import torch
from transformers import BitsAndBytesConfig

model_id = "google/paligemma-3b-mix-224"
device = "cuda:0"
dtype = torch.bfloat16

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg?download=true"
image = Image.open(requests.get(url, stream=True).raw)

quantization_config = BitsAndBytesConfig(load_in_8bit=True)

model = PaliGemmaForConditionalGeneration.from_pretrained(
    model_id, quantization_config=quantization_config
).eval()
processor = AutoProcessor.from_pretrained(model_id)

# モデルにスペイン語の字幕を作成するよう指示する
prompt = "caption es"
model_inputs = processor(text=prompt, images=image, return_tensors="pt").to(model.device)
input_len = model_inputs["input_ids"].shape[-1]

with torch.inference_mode():
    generation = model.generate(**model_inputs, max_new_tokens=100, do_sample=False)
    generation = generation[0][input_len:]
    decoded = processor.decode(generation, skip_special_tokens=True)
    print(decoded)

📚 ドキュメント

モデル情報

モデル概要

PaliGemmaはPaLI - 3にインスパイアされ、SigLIPビジュアルモデルやGemma言語モデルなどのオープンコンポーネントを基に構築されています。画像とテキストを入力として受け取り、テキスト出力を生成し、多言語に対応しています。このモデルは、幅広いビジュアル言語タスクに対して微調整することで、高い性能を発揮することを目指しています。

モデルアーキテクチャ

PaliGemmaはTransformerデコーダとVision Transformer画像エンコーダで構成され、合計30億個のパラメータを持っています。テキストデコーダはGemma - 2Bから初期化され、画像エンコーダはSigLIP - So400m/14から初期化されます。PaliGemmaはPaLI - 3の手法に従って訓練されています。

入力と出力

• 入力：画像とテキスト文字列（画像に字幕を付けるためのプロンプトや質問など）
• 出力：入力に対して生成されたテキスト（画像の字幕、質問の回答、物体の境界ボックス座標のリスト、セグメンテーションコードなど）

モデルデータ

事前学習データセット

PaliGemmaは以下のデータセットの混合で事前学習されています。

• WebLI：WebLI (Web Language Image)は、公共のWebを基に構築されたWeb規模の多言語画像 - テキストデータセットです。モデルの多機能性（ビジュアルセマンティック理解、物体の位置特定、ビジュアルコンテキストのテキスト理解、多言語能力など）を得るために、複数のWebLI分割が使用されています。
• CC3M - 35L：Webページから精心選択された英語の画像 - 代替テキストペア（[Sharma et al., 2018](https://aclanthology.org/P18 - 1238/)）。Google Cloud Translation APIを使用して、さらに34の言語に翻訳されています。
• VQ²A - CC3M - 35L/VQG - CC3M - 35L：VQ2A - CC3Mのサブセット（[Changpinyo et al., 2022a](https://aclanthology.org/2022.naacl - main.142/)）で、Google Cloud Translation APIを使用してCC3M - 35Lと同じ34の言語に翻訳されています。
• OpenImages：OpenImagesデータセットを基に、手動で定義されたルールによって生成された検出と物体認識QAデータ（Piergiovanni et al. 2022）。
• WIT：ウィキペディアから収集された画像とテキスト（Srinivasan et al., 2021）。

データ責任フィルタリング

PaliGemmaをクリーンなデータで訓練するために、WebLIには以下のフィルタリングが適用されています。

• 色情画像フィルタリング：色情的な性質を持つと見なされる画像を削除します。
• テキストセキュリティフィルタリング：不安全なテキストとペアになっている画像を識別し、フィルタリングします。不安全なテキストとは、児童性虐待材料、色情内容、下品な言葉、その他の不快な内容を含む、またはそれに関するテキストを指します。
• テキスト毒性フィルタリング：Perspective APIを使用して、侮辱的、猥褻的、憎悪的、またはその他の毒性があると見なされるテキストとペアになっている画像を識別し、フィルタリングします。
• テキスト個人情報フィルタリング：Cloud Data Loss Prevention (DLP) APIを使用して、個人情報やその他の機密データをフィルタリングし、個人のプライバシーを保護します。社会保障番号などの識別子や[その他の機密情報タイプ](https://cloud.google.com/sensitive - data - protection/docs/high - sensitivity - infotypes - reference?_gl=1jg604m_gaODk5MzA3ODQyLjE3MTAzMzQ3NTk._ga_WH2QY8WWF5*MTcxMDUxNTkxMS4yLjEuMTcxMDUxNjA2NC4wLjAuMA..&_ga=2.172110058.-899307842.1710334759)が削除されます。
• その他の方法：コンテンツの品質と安全性に基づき、関連するポリシーと実践に従ってフィルタリングを行います。

使い方

PaliGemmaはシングルラウンドのビジュアル言語モデルであり、対話型の使用には適していません。特定のユースケースに対して微調整することで、最も良い結果が得られます。

「detect」や「segment」などのタスクプレフィックスを使用することで、モデルが解決するタスクを設定することができます。事前学習モデルはこのような方法で訓練され、質問応答、字幕生成、セグメンテーションなどの多様な能力を獲得しています。ただし、これらのモデルは直接使用するために設計されているわけではなく、同様のプロンプト構造を持つ特定のタスクに微調整することで転用されます。対話型のテストには、複数のタスクの混合で微調整された「mix」シリーズのモデルを使用することができます。

想定されるユースケースについては、[使用と制限のセクション](#usage - and - limitations)を参照するか、[ブログ記事](https://huggingface.co/blog/paligemma - google - vlm)を訪問して、詳細情報と例を確認してください。

実装情報

ハードウェア

PaliGemmaは最新世代のテンソル処理ユニット（TPU）ハードウェア（TPUv5e）を使用して訓練されています。

ソフトウェア

訓練にはJAX、Flax、TFDS、[big_vision](https://github.com/google - research/big_vision)が使用されています。

JAXにより、研究者は最新世代のハードウェア（TPUを含む）を活用して、大型モデルをより高速かつ効率的に訓練することができます。TFDSはデータセットへのアクセスに、Flaxはモデルアーキテクチャに使用されます。PaliGemmaの微調整コードと推論コードはbig_visionのGitHubリポジトリで公開されています。

評価情報

ベンチマーク結果

PaliGemmaの様々な学術タスクへの転用可能性を検証するために、事前学習モデルを各タスクに対して微調整しました。また、転用タスクの混合を使用して混合モデルを訓練しました。異なる解像度での結果を報告し、どのタスクが高解像度から恩恵を受けるかを調査しました。重要なことは、これらのタスクとデータセットは事前学習データの混合に含まれておらず、それらの画像はWeb規模の事前学習データから明示的に除外されています。

混合モデル（転用タスクの混合で微調整）

単一タスク（単一タスクで微調整）

📄 ライセンス

Gemma

アクセスに関する注意

⚠️ 重要な注意事項

Hugging Face上でPaliGemmaにアクセスするには、Googleの使用許諾を確認し、同意する必要があります。これを行うには、Hugging Faceにログインし、以下のボタンをクリックしてください。リクエストはすぐに処理されます。

💡 使用上の提案

PaliGemmaはシングルラウンドのビジュアル言語モデルであり、対話型の使用には適していません。特定のユースケースに対して微調整することで、最も良い結果が得られます。「detect」や「segment」などのタスクプレフィックスを使用することで、モデルが解決するタスクを設定することができます。