Paligemma2 10b Pt 224

🚀 PaliGemma 2模型卡

PaliGemma 2是一款视觉语言模型（VLM），它结合了Gemma 2模型的能力，能够同时处理图像和文本输入，并生成文本输出，支持多种语言。该模型适用于图像和短视频字幕、视觉问答、文本阅读、目标检测和目标分割等多种视觉语言任务。

🚀 快速开始

若要在Hugging Face上访问PaliGemma 2，你需要查看并同意Google的使用许可。请确保你已登录Hugging Face，然后点击下方按钮。请求将立即处理。 [确认许可](Acknowledge license)

模型页面：PaliGemma

Transformers PaliGemma 2 10B权重，使用224*224输入图像和128个令牌的输入/输出文本序列进行预训练。该模型以bfloat16格式提供，可用于微调。

资源和技术文档：

• Kaggle上的PaliGemma 2
• 负责任的生成式AI工具包

使用条款：条款

作者：Google

✨ 主要特性

• 多模态处理：能够同时处理图像和文本输入，并生成文本输出。
• 多语言支持：支持多种语言，适用于不同地区的用户。
• 高性能微调：设计用于在各种视觉语言任务上实现领先的微调性能。

📦 安装指南

文档未提及具体安装步骤，故跳过此章节。

💻 使用示例

基础用法

from transformers import (
    PaliGemmaProcessor,
    PaliGemmaForConditionalGeneration,
)
from transformers.image_utils import load_image
import torch

model_id = "google/paligemma2-10b-pt-224"

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg"
image = load_image(url)

model = PaliGemmaForConditionalGeneration.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto").eval()
processor = PaliGemmaProcessor.from_pretrained(model_id)

# 对于预训练模型，留空提示
prompt = ""
model_inputs = processor(text=prompt, images=image, return_tensors="pt").to(torch.bfloat16).to(model.device)
input_len = model_inputs["input_ids"].shape[-1]

with torch.inference_mode():
    generation = model.generate(**model_inputs, max_new_tokens=100, do_sample=False)
    generation = generation[0][input_len:]
    decoded = processor.decode(generation, skip_special_tokens=True)
    print(decoded)

这里有一个笔记本展示了如何微调PaliGemma 2。

📚 详细文档

模型信息

模型概述

PaliGemma 2是PaliGemma视觉语言模型（VLM）的更新版本，它融合了Gemma 2模型的能力。PaliGemma系列模型受到PaLI - 3的启发，基于开放组件构建，如SigLIP视觉模型和Gemma 2语言模型。它接受图像和文本作为输入，并生成文本作为输出，支持多种语言。该模型旨在在广泛的视觉语言任务（如图像和短视频字幕、视觉问答、文本阅读、目标检测和目标分割）上实现领先的微调性能。

模型架构

PaliGemma 2由Transformer解码器和Vision Transformer图像编码器组成。文本解码器从参数大小为2B、9B和27B的Gemma 2初始化。图像编码器从SigLIP - So400m/14初始化。与原始的PaliGemma模型类似，PaliGemma 2按照PaLI - 3的方法进行训练。

输入和输出

• 输入：图像和文本字符串，如图像字幕提示或问题。
• 输出：根据输入生成的文本，如图像字幕、问题答案、目标边界框坐标列表或分割码字。

引用

@article{
    title={PaliGemma 2: A Family of Versatile VLMs for Transfer},
    author={Andreas Steiner and André Susano Pinto and Michael Tschannen and Daniel Keysers and Xiao Wang and Yonatan Bitton and Alexey Gritsenko and Matthias Minderer and Anthony Sherbondy and Shangbang Long and Siyang Qin and Reeve Ingle and Emanuele Bugliarello and Sahar Kazemzadeh and Thomas Mesnard and Ibrahim Alabdulmohsin and Lucas Beyer and Xiaohua Zhai},
    year={2024},
    journal={arXiv preprint arXiv:2412.03555}
}

模型数据

预训练数据集

PaliGemma 2在以下数据集的混合上进行预训练：

• WebLI：WebLI（Web Language Image）是一个基于公共网络构建的网络规模多语言图像 - 文本数据集。使用了多种WebLI分割来获得通用的模型能力，如视觉语义理解、目标定位、视觉情境文本理解和多语言能力。
• CC3M - 35L：从网页中精选的英语图像 - 替代文本对（Sharma等人，2018）。使用Google Cloud Translation API将其翻译成另外34种语言。
• VQ²A - CC3M - 35L/VQG - CC3M - 35L：VQ2A - CC3M的一个子集（Changpinyo等人，2022a），使用Google Cloud Translation API翻译成与CC3M - 35L相同的另外34种语言。
• OpenImages：基于[OpenImages数据集]通过手工规则生成的检测和目标感知问题与答案（Piergiovanni等人，2022）。
• WIT：从维基百科收集的图像和文本（Srinivasan等人，2021）。

数据责任过滤

为了确保PaliGemma 2在安全和负责任的数据上进行训练，对WebLI应用了以下过滤方法：

• 色情图像过滤：去除被认为具有色情性质的图像。
• 文本安全过滤：识别并过滤与不安全文本配对的图像。不安全文本包括包含或涉及儿童性虐待图像（CSAI）、色情内容、粗俗语言或其他冒犯性内容的文本。
• 文本毒性过滤：进一步使用Perspective API识别并过滤与被认为具有侮辱性、淫秽、仇恨或其他毒性的文本配对的图像。
• 文本个人信息过滤：使用Cloud Data Loss Prevention (DLP) API过滤某些个人信息和其他敏感数据，以保护个人隐私。去除了如社会安全号码和[其他敏感信息类型]等标识符。
• 其他方法：根据内容质量和安全性，按照我们的政策和实践进行过滤。

🔧 技术细节

硬件

PaliGemma 2使用最新一代的张量处理单元（TPU）硬件（TPUv5e）进行训练。

软件

训练使用了JAX、Flax、TFDS和big_vision完成。

JAX允许研究人员利用最新一代的硬件（包括TPU）进行更快、更高效的大模型训练。TFDS用于访问数据集，Flax用于模型架构。PaliGemma 2的微调代码和推理代码在big_vision GitHub仓库中发布。

📊 评估信息

基准测试结果

为了验证PaliGemma 2在各种学术任务上的可迁移性，我们在每个任务上对预训练模型进行微调。我们报告了不同分辨率下的结果，以了解哪些任务从更高的分辨率中受益。重要的是，这些任务或数据集均未包含在预训练数据混合中，并且其图像已从网络规模的预训练数据中明确移除。

PaliGemma 2按模型分辨率和大小的结果

其他基准测试

[ICDAR 2015 Incidental][icdar2015 - inc]

[Total - Text][total - text]

[FinTabNet][fintabnet]

[PubTabNet][pubtabnet]

[GrandStaff][grandstaff]

[PubChem][pubchem]

• PaliGemma 2 3B，完全匹配：94.8

[DOCCI][docci]

• avg#char：平均字符数
• avg#sent：平均句子数
• NES：非蕴含句子

[MIMIC - CXR][mimic - cxr]

[Visual Spatial Reasoning][vsr]

🛡️ 伦理与安全

评估方法

我们的评估方法包括跨相关内容政策的结构化伦理和安全评估，包括：

• 对涵盖儿童安全、内容安全和代表性危害的提示进行人工评估。有关评估方法的更多详细信息，请参阅Gemma模型卡，但采用图像字幕和视觉问答设置。
• 图像到文本基准测试评估：针对相关学术数据集（如FairFace数据集（Karkkainen等人，2021））进行基准测试。

评估结果

• 伦理和安全评估的人工评估结果在可接受的阈值范围内，符合内部政策中关于儿童安全、内容安全和代表性危害等类别。
• 除了强大的内部评估外，我们还使用Perspective API（阈值为0.8）来衡量从FairFace数据集中获取的图像生成字幕中的毒性、亵渎和其他潜在问题。我们报告了每个感知性别、种族和年龄属性的子组中观察到的最大值和中位数。

📄 使用与限制

预期用途

开放视觉语言模型（VLM）在各个行业和领域都有广泛的应用。以下是一些可能的应用场景：

• 图像和视频理解：生成图像和视频的字幕、描述和摘要。
• 视觉问答：回答关于图像和视频内容的问题。
• 目标检测和分割：识别图像和视频中的目标，并进行分割。
• 文本阅读：从图像中提取文本信息。

局限性

文档未提及具体局限性内容，故跳过此章节。

📄 许可证

本项目采用gemma许可证。