Paligemma 3b Ft Vqav2 448

🚀 PaliGemma模型卡片

PaliGemma是一款多功能轻量级视觉语言模型（VLM），它结合图像和文本输入，输出文本结果，支持多种语言。该模型可在多种视觉语言任务中进行微调，适用于研究和特定任务的应用。

🚀 快速开始

• 模型页面：PaliGemma
• 资源和技术文档：
  • Responsible Generative AI Toolkit
  • PaliGemma on Kaggle
  • PaliGemma on Vertex Model Garden
• 使用条款：Terms
• 作者：Google

✨ 主要特性

• 多功能性：受PaLI - 3启发，基于开放组件构建，可处理多种视觉语言任务。
• 多语言支持：支持多种语言的输入和输出。
• 可微调性：适合在特定视觉语言任务上进行微调。

📦 安装指南

若要使用4位或8位精度自动运行推理，需要安装bitsandbytes：

pip install bitsandbytes accelerate

💻 使用示例

基础用法

以下代码展示了如何在CPU上以默认精度（float32）运行模型：

from transformers import AutoProcessor, PaliGemmaForConditionalGeneration
from PIL import Image
import requests
import torch

model_id = "google/paligemma-3b-mix-224"

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg?download=true"
image = Image.open(requests.get(url, stream=True).raw)

model = PaliGemmaForConditionalGeneration.from_pretrained(model_id).eval()
processor = AutoProcessor.from_pretrained(model_id)

# 指示模型用西班牙语创建图像描述
prompt = "caption es"
model_inputs = processor(text=prompt, images=image, return_tensors="pt")
input_len = model_inputs["input_ids"].shape[-1]

with torch.inference_mode():
    generation = model.generate(**model_inputs, max_new_tokens=100, do_sample=False)
    generation = generation[0][input_len:]
    decoded = processor.decode(generation, skip_special_tokens=True)
    print(decoded)

高级用法

以下代码展示了如何在CUDA上以bfloat16精度运行模型：

from transformers import AutoProcessor, PaliGemmaForConditionalGeneration
from PIL import Image
import requests
import torch

model_id = "google/paligemma-3b-mix-224"
device = "cuda:0"
dtype = torch.bfloat16

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg?download=true"
image = Image.open(requests.get(url, stream=True).raw)

model = PaliGemmaForConditionalGeneration.from_pretrained(
    model_id,
    torch_dtype=dtype,
    device_map=device,
    revision="bfloat16",
).eval()
processor = AutoProcessor.from_pretrained(model_id)

# 指示模型用西班牙语创建图像描述
prompt = "caption es"
model_inputs = processor(text=prompt, images=image, return_tensors="pt").to(model.device)
input_len = model_inputs["input_ids"].shape[-1]

with torch.inference_mode():
    generation = model.generate(**model_inputs, max_new_tokens=100, do_sample=False)
    generation = generation[0][input_len:]
    decoded = processor.decode(generation, skip_special_tokens=True)
    print(decoded)

4位/8位加载

from transformers import AutoProcessor, PaliGemmaForConditionalGeneration
from PIL import Image
import requests
import torch
from transformers import BitsAndBytesConfig

model_id = "google/paligemma-3b-mix-224"
device = "cuda:0"
dtype = torch.bfloat16

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg?download=true"
image = Image.open(requests.get(url, stream=True).raw)

quantization_config = BitsAndBytesConfig(load_in_8bit=True)

model = PaliGemmaForConditionalGeneration.from_pretrained(
    model_id, quantization_config=quantization_config
).eval()
processor = AutoProcessor.from_pretrained(model_id)

# 指示模型用西班牙语创建图像描述
prompt = "caption es"
model_inputs = processor(text=prompt, images=image, return_tensors="pt").to(model.device)
input_len = model_inputs["input_ids"].shape[-1]

with torch.inference_mode():
    generation = model.generate(**model_inputs, max_new_tokens=100, do_sample=False)
    generation = generation[0][input_len:]
    decoded = processor.decode(generation, skip_special_tokens=True)
    print(decoded)

📚 详细文档

模型信息

模型概述

PaliGemma是一款多功能轻量级视觉语言模型（VLM），它结合图像和文本输入，输出文本结果，支持多种语言。该模型适用于图像和短视频字幕、视觉问答、文本阅读、目标检测和目标分割等多种视觉语言任务。

模型架构

PaliGemma由Transformer解码器和视觉Transformer图像编码器组成，共有30亿个参数。文本解码器从Gemma - 2B初始化，图像编码器从SigLIP - So400m/14初始化。

输入和输出

• 输入：图像和文本字符串，如为图像添加字幕的提示或问题。
• 输出：对输入的响应生成的文本，如图像的字幕、问题的答案、目标边界框坐标列表或分割码字。

模型数据

预训练数据集

PaliGemma在以下数据集的混合上进行预训练：

• WebLI：WebLI (Web Language Image)是一个基于公共网络构建的网络规模多语言图像 - 文本数据集。
• CC3M - 35L：从网页中精心挑选的英语图像 - 替代文本对，并翻译成34种其他语言。
• VQ²A - CC3M - 35L/VQG - CC3M - 35L：VQ2A - CC3M的一个子集，翻译成与CC3M - 35L相同的34种其他语言。
• OpenImages：通过手工规则在[OpenImages数据集]上生成的检测和目标感知问答。
• WIT：从维基百科收集的图像和文本。

数据责任过滤

为了在干净的数据上训练PaliGemma，对WebLI应用了以下过滤器：

• 色情图像过滤：移除被认为具有色情性质的图像。
• 文本安全过滤：识别并过滤与不安全文本配对的图像。
• 文本毒性过滤：使用Perspective API识别并过滤与被认为具有侮辱性、淫秽、仇恨或其他毒性的文本配对的图像。
• 文本个人信息过滤：使用Cloud Data Loss Prevention (DLP) API过滤某些个人信息和其他敏感数据。
• 其他方法：根据内容质量和安全性进行过滤。

实现信息

硬件

PaliGemma使用最新一代的张量处理单元（TPU）硬件（TPUv5e）进行训练。

软件

训练使用了JAX、Flax、TFDS和big_vision。

评估信息

基准测试结果

为了验证PaliGemma对各种学术任务的可迁移性，对预训练模型在每个任务上进行微调，并训练混合模型。报告了不同分辨率下的结果，以了解哪些任务受益于更高的分辨率。

混合模型（在转移任务的混合上微调）

单任务（在单任务上微调）

具体结果请参考原文档中的表格。

伦理和安全

评估方法

评估方法包括结构化评估和相关内容政策的内部红队测试。对模型进行了与伦理和安全相关的多个类别的评估，包括：

• 对涵盖儿童安全、内容安全和代表性危害的提示进行人工评估。
• 图像到文本基准评估：针对相关学术数据集进行基准测试。

评估结果

• 伦理和安全评估的人工评估结果在可接受的阈值内，符合内部政策。
• 使用Perspective API（阈值为0.8）测量从FairFace数据集获取的图像生成字幕中的毒性、亵渎和其他潜在问题。

使用和限制

预期用途

• 特定视觉语言任务微调：预训练模型可在多种视觉语言任务上进行微调，适用于特定领域和非文本输出任务。
• 视觉语言研究：预训练模型和微调模型可作为研究人员实验VLM技术、开发算法和推动该领域发展的基础。

伦理考虑和风险

• 偏差和公平性：在大规模真实世界图像 - 文本数据上训练的VLMs可能反映训练材料中嵌入的社会文化偏差。
• 错误信息和滥用：VLMs可能被滥用来生成虚假、误导或有害的文本。
• 透明度和问责制：本模型卡片总结了模型的架构、能力、限制和评估过程的详细信息。

限制

• 继承了基础Gemma模型的大多数限制，如在开放式或高度复杂任务上表现不佳。
• PaliGemma主要设计为用于转移到特定任务的通用预训练模型，其“开箱即用”或“零样本”性能可能落后于专门为该任务设计的模型。
• PaliGemma不是多轮聊天机器人，设计用于单轮图像和文本输入。

🔧 技术细节

硬件

使用TPUv5e硬件进行训练。

软件

使用JAX、Flax、TFDS和big_vision进行训练。

📄 许可证

许可证为gemma。

📖 引用

@article{beyer2024paligemma,
    title={{PaliGemma: A versatile 3B VLM for transfer}},
    author={Lucas Beyer* and Andreas Steiner* and André Susano Pinto* and Alexander Kolesnikov* and Xiao Wang* and Daniel Salz and Maxim Neumann and Ibrahim Alabdulmohsin and Michael Tschannen and Emanuele Bugliarello and Thomas Unterthiner and Daniel Keysers and Skanda Koppula and Fangyu Liu and Adam Grycner and Alexey Gritsenko and Neil Houlsby and Manoj Kumar and Keran Rong and Julian Eisenschlos and Rishabh Kabra and Matthias Bauer and Matko Bošnjak and Xi Chen and Matthias Minderer and Paul Voigtlaender and Ioana Bica and Ivana Balazevic and Joan Puigcerver and Pinelopi Papalampidi and Olivier Henaff and Xi Xiong and Radu Soricut and Jeremiah Harmsen and Xiaohua Zhai*},
    year={2024},
    journal={arXiv preprint arXiv:2407.07726}
}

论文链接：here