Paligemma2 28b Mix 448

🚀 PaliGemma 2模型卡片

PaliGemma 2是一款视觉语言模型（VLM），它结合了Gemma 2模型的能力，能同时处理图像和文本输入并生成文本输出，支持多种语言。该模型在多种视觉语言任务上展现出了出色的性能，可用于图像和短视频字幕、视觉问答、文本阅读、目标检测和分割等任务。

🚀 快速开始

若要在Hugging Face上访问PaliGemma，你需要查看并同意Google的使用许可。请确保你已登录Hugging Face，然后点击下方按钮。请求将立即处理。 确认许可

模型页面：PaliGemma

Transformers PaliGemma 2 28B权重在使用448x448输入图像的学术任务混合数据集上进行了微调。PaliGemma 2的mix检查点在各种任务上进行了微调，可直接使用；而pt检查点是预训练的，用于进一步微调。这些任务包括短和长字幕、光学字符识别、问答、目标检测和分割等。

该模型仅以bfloat16格式提供，用于研究目的。

资源和技术文档：

• Kaggle上的PaliGemma 2
• 负责任的生成式AI工具包

使用条款：条款

作者：Google

✨ 主要特性

• 多任务处理：支持图像和文本输入，可完成图像和短视频字幕、视觉问答、文本阅读、目标检测和分割等多种任务。
• 多语言支持：能够处理多种语言的输入和输出。
• 可微调性：预训练模型可在特定视觉语言任务和领域上进行微调。

📦 安装指南

文档未提供具体安装步骤，可参考Transformers库官方文档进行安装。

💻 使用示例

基础用法

你可以使用以下提示模板执行不同的任务：

• "cap {lang}"：原始短字幕（来自WebLI-alt）
• "caption {lang}"：类似COCO的精美短字幕
• "describe {lang}"：更长、更具描述性的字幕
• "ocr"：光学字符识别
• "answer {lang} {question}"：关于图像内容的问答
• "question {lang} {answer}"：根据给定答案生成问题
• "detect {object} ; {object}"：在图像中定位列出的对象并返回其边界框
• "segment {object}"：在图像中定位对象占用的区域以创建对象的图像分割

from transformers import (
    PaliGemmaProcessor,
    PaliGemmaForConditionalGeneration,
)
from transformers.image_utils import load_image
import torch

model_id = "google/paligemma2-28b-mix-448"

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg"
image = load_image(url)

model = PaliGemmaForConditionalGeneration.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto").eval()
processor = PaliGemmaProcessor.from_pretrained(model_id)

prompt = "describe en"
model_inputs = processor(text=prompt, images=image, return_tensors="pt").to(torch.bfloat16).to(model.device)
input_len = model_inputs["input_ids"].shape[-1]

with torch.inference_mode():
    generation = model.generate(**model_inputs, max_new_tokens=100, do_sample=False)
    generation = generation[0][input_len:]
    decoded = processor.decode(generation, skip_special_tokens=True)
    print(decoded)

这里有一个笔记本展示了如何微调PaliGemma 2。

📚 详细文档

模型信息

模型概述

PaliGemma 2是PaliGemma视觉语言模型（VLM）的更新版本，它融合了Gemma 2模型的能力。PaliGemma系列模型受PaLI - 3启发，基于SigLIP视觉模型和Gemma 2语言模型等开放组件构建。它以图像和文本作为输入，生成文本作为输出，支持多种语言。该模型旨在在广泛的视觉语言任务（如图像和短视频字幕、视觉问答、文本阅读、目标检测和分割）上实现领先的微调性能。

模型架构

PaliGemma 2由Transformer解码器和视觉Transformer图像编码器组成。文本解码器从参数大小为2B、9B和27B的Gemma 2初始化。图像编码器从SigLIP - So400m/14初始化。与原始的PaliGemma模型类似，PaliGemma 2按照PaLI - 3的方法进行训练。

输入和输出

• 输入：图像和文本字符串，如图像字幕提示或问题。
• 输出：对输入的响应生成的文本，如图像字幕、问题答案、对象边界框坐标列表或分割码字。

模型数据

预训练数据集

PaliGemma 2在以下数据集的混合上进行预训练：

• WebLI：WebLI（Web语言图像）是一个基于公共网络构建的网络规模多语言图像 - 文本数据集。使用了多种WebLI分割来获得通用的模型能力，如视觉语义理解、对象定位、视觉情境文本理解和多语言能力。
• CC3M - 35L：从网页中精心挑选的英语图像 - 替代文本对（Sharma等人，2018）。使用Google Cloud Translation API将其翻译成另外34种语言。
• VQ²A - CC3M - 35L/VQG - CC3M - 35L：VQ2A - CC3M的一个子集（Changpinyo等人，2022a），使用Google Cloud Translation API翻译成与CC3M - 35L相同的另外34种语言。
• OpenImages：基于[OpenImages数据集]通过手工规则生成的检测和对象感知问答（Piergiovanni等人，2022）。
• WIT：从维基百科收集的图像和文本（Srinivasan等人，2021）。

[OpenImages数据集]：https://storage.googleapis.com/openimages/web/factsfigures_v7.html

PaliGemma 2基于Gemma 2，你可以在Gemma 2模型卡片中找到Gemma 2的预训练数据集信息。

数据责任过滤

为了在安全和负责任的数据上训练PaliGemma 2，对WebLI应用了以下过滤器：

• 色情图像过滤：此过滤器移除被认为具有色情性质的图像。
• 文本安全过滤：识别并过滤掉与不安全文本配对的图像。不安全文本是指任何被认为包含或涉及儿童性虐待图像（CSAI）、色情内容、粗俗语言或其他冒犯性内容的文本。
• 文本毒性过滤：进一步使用Perspective API识别并过滤掉与被认为具有侮辱性、淫秽、仇恨或其他毒性的文本配对的图像。
• 文本个人信息过滤：使用Cloud Data Loss Prevention (DLP) API过滤某些个人信息和其他敏感数据，以保护个人隐私。移除了如社会安全号码和[其他敏感信息类型]等标识符。
• 其他方法：根据内容质量和安全性，按照我们的政策和实践进行过滤。

[其他敏感信息类型]：https://cloud.google.com/sensitive-data-protection/docs/high-sensitivity-infotypes-reference?_gl=1jg604m_gaODk5MzA3ODQyLjE3MTAzMzQ3NTk._ga_WH2QY8WWF5*MTcxMDUxNTkxMS4yLjEuMTcxMDUxNjA2NC4wLjAuMA..&_ga=2.172110058.-899307842.1710334759

实现信息

硬件

PaliGemma 2使用最新一代的张量处理单元（TPU）硬件（TPUv5e）进行训练。

软件

训练使用JAX、Flax、TFDS和big_vision完成。

JAX使研究人员能够利用最新一代的硬件（包括TPU）进行更快、更高效的大型模型训练。

TFDS用于访问数据集，Flax用于模型架构。PaliGemma 2的微调代码和推理代码在big_vision GitHub仓库中发布。

评估信息

基准测试结果

为了验证PaliGemma 2在各种学术任务上的可迁移性，我们在每个任务上对预训练模型进行微调。我们报告了不同分辨率下的结果，以了解哪些任务受益于更高的分辨率，哪些任务受益于更大的模型。重要的是，这些任务或数据集都不是预训练数据混合的一部分，并且它们的图像已从网络规模的预训练数据中明确移除。

PaliGemma 2按模型分辨率和大小的结果

额外基准测试

[ICDAR 2015 Incidental][icdar2015 - inc]

[Total - Text][total - text]

[FinTabNet][fintabnet]

[PubTabNet][pubtabnet]

[GrandStaff][grandstaff]

[PubChem][pubchem]

• PaliGemma 2 3B，完全匹配：94.8

[DOCCI][docci]

• 平均字符数：平均字符数量
• 平均句子数：平均句子数量
• 非蕴含句子百分比：非蕴含句子的百分比

[MIMIC - CXR][mimic - cxr]

[视觉空间推理][vsr]

伦理和安全

评估方法

我们的评估方法包括跨相关内容政策的结构化伦理和安全评估，包括：

• 对涵盖儿童安全、内容安全和代表性危害的提示进行人工评估。有关评估方法的更多详细信息，请参阅Gemma模型卡片，但采用图像字幕和视觉问答设置。
• 图像到文本基准评估：与相关学术数据集（如FairFace数据集（Karkkainen等人，2021））进行基准对比。

评估结果

• 伦理和安全评估的人工评估结果在可接受的阈值内，符合内部政策中关于儿童安全、内容安全和代表性危害等类别。
• 除了严格的内部评估外，我们还使用Perspective API（阈值为0.8）来衡量从FairFace数据集中获取的图像生成字幕中的毒性、亵渎和其他潜在问题。我们报告了每个感知性别、种族和年龄属性的子组中观察到的最大值和中值。

使用和限制

预期用途

开放视觉语言模型（VLM）在各个行业和领域有广泛的应用。以下潜在用途列表并不全面。此列表的目的是提供有关模型创建者在模型训练和开发过程中考虑的可能用例的上下文信息。Gemma模型的禁止用途在Gemma禁止使用政策中列出。

在特定视觉语言任务上进行微调：

• 预训练模型可在广泛的视觉语言任务（如图像字幕、短视频字幕、视觉问答、文本阅读、目标检测和分割）上进行微调。
• 预训练模型可针对特定领域（如遥感问答、盲人的视觉问题、科学问答、描述UI元素功能）进行微调。
• 预训练模型可针对具有非文本输出（如边界框或分割掩码）的任务进行微调。

视觉语言研究：

• 预训练模型和微调模型可作为研究人员试验VLM技术、开发算法和推动该领域发展的基础。

伦理考虑和风险

视觉语言模型（VLM）的开发引发了一些伦理问题。在创建开放模型时，我们仔细考虑了以下方面：

• 偏差和公平性：在大规模、真实世界的图像 - 文本数据上训练的VLM可能反映训练材料中嵌入的社会文化偏差。这些模型经过了仔细审查，本卡片中描述了输入数据预处理和后续评估报告。
• 错误信息和滥用：VLM可能被滥用来生成虚假、误导或有害的文本。提供了负责任使用模型的指南，请参阅负责任的生成式AI工具包。
• 透明度和问责制：本模型卡片总结了模型的架构、能力、限制和评估过程的详细信息。一个负责任开发的开放模型为开发者和研究人员提供了分享创新的机会，使VLM技术在AI生态系统中更易获取。

已识别的风险和缓解措施：

• 偏差的延续：鼓励在模型训练、微调及其他用例中进行持续监测（使用评估指标、人工审查）并探索去偏技术。
• 有害内容的生成：内容安全机制和指南至关重要。鼓励开发者根据其特定产品政策和应用用例谨慎行事并实施适当的内容安全保障措施。
• 恶意用途：技术限制以及对开发者和最终用户的教育有助于减轻LLM的恶意应用。提供了教育资源和用户标记滥用的报告机制，请参阅负责任的生成式AI工具包。Gemma模型的禁止用途在Gemma禁止使用政策中列出。
• 隐私侵犯：模型在经过过滤以去除某些个人信息和敏感数据的数据上进行训练。鼓励开发者遵循隐私法规并采用隐私保护技术。

限制

• 大多数从基础Gemma 2模型继承的限制仍然适用：
  • VLM在具有明确提示和说明的任务上表现更好。开放式或高度复杂的任务可能具有挑战性。
  • 自然语言本质上是复杂的。VLM可能难以理解微妙的细微差别、讽刺或比喻语言。
  • VLM根据从训练数据集中学到的信息生成响应，但它们不是知识库。它们可能生成不正确或过时的事实陈述。
  • VLM依赖于语言和图像中的统计模式。它们可能在某些情况下缺乏应用常识推理的能力。
• PaliGemma 2首先是作为一个通用预训练模型设计的，用于微调至专门任务。因此，其“开箱即用”或“零样本”性能可能落后于专门为通用目的设计的模型。
• PaliGemma 2不是多轮聊天机器人。它设计用于单轮图像和文本输入。

🔧 技术细节

PaliGemma 2在架构上结合了Transformer解码器和视觉Transformer图像编码器，这种设计使其能够有效地处理图像和文本信息。在训练过程中，使用了多种数据集进行预训练，并对数据进行了责任过滤，以确保模型的安全性和可靠性。同时，模型在多种视觉语言任务上进行了微调，以提高其在特定任务上的性能。

📄 许可证

本模型遵循gemma许可证。

📖 引用

@article{
    title={PaliGemma 2: A Family of Versatile VLMs for Transfer},
    author={Andreas Steiner and André Susano Pinto and Michael Tschannen and Daniel Keysers and Xiao Wang and Yonatan Bitton and Alexey Gritsenko and Matthias Minderer and Anthony Sherbondy and Shangbang Long and Siyang Qin and Reeve Ingle and Emanuele Bugliarello and Sahar Kazemzadeh and Thomas Mesnard and Ibrahim Alabdulmohsin and Lucas Beyer and Xiaohua Zhai},
    year={2024},
    journal={arXiv preprint arXiv:2412.03555}
}

查看论文点击此处。