Paligemma2 28b Mix 448

🚀 PaliGemma 2模型卡片

PaliGemma 2是一款視覺語言模型（VLM），它結合了Gemma 2模型的能力，能同時處理圖像和文本輸入並生成文本輸出，支持多種語言。該模型在多種視覺語言任務上展現出了出色的性能，可用於圖像和短視頻字幕、視覺問答、文本閱讀、目標檢測和分割等任務。

🚀 快速開始

若要在Hugging Face上訪問PaliGemma，你需要查看並同意Google的使用許可。請確保你已登錄Hugging Face，然後點擊下方按鈕。請求將立即處理。 確認許可

模型頁面：PaliGemma

Transformers PaliGemma 2 28B權重在使用448x448輸入圖像的學術任務混合數據集上進行了微調。PaliGemma 2的mix檢查點在各種任務上進行了微調，可直接使用；而pt檢查點是預訓練的，用於進一步微調。這些任務包括短和長字幕、光學字符識別、問答、目標檢測和分割等。

該模型僅以bfloat16格式提供，用於研究目的。

資源和技術文檔：

• Kaggle上的PaliGemma 2
• 負責任的生成式AI工具包

使用條款：條款

作者：Google

✨ 主要特性

• 多任務處理：支持圖像和文本輸入，可完成圖像和短視頻字幕、視覺問答、文本閱讀、目標檢測和分割等多種任務。
• 多語言支持：能夠處理多種語言的輸入和輸出。
• 可微調性：預訓練模型可在特定視覺語言任務和領域上進行微調。

📦 安裝指南

文檔未提供具體安裝步驟，可參考Transformers庫官方文檔進行安裝。

💻 使用示例

基礎用法

你可以使用以下提示模板執行不同的任務：

• "cap {lang}"：原始短字幕（來自WebLI-alt）
• "caption {lang}"：類似COCO的精美短字幕
• "describe {lang}"：更長、更具描述性的字幕
• "ocr"：光學字符識別
• "answer {lang} {question}"：關於圖像內容的問答
• "question {lang} {answer}"：根據給定答案生成問題
• "detect {object} ; {object}"：在圖像中定位列出的對象並返回其邊界框
• "segment {object}"：在圖像中定位對象佔用的區域以創建對象的圖像分割

from transformers import (
    PaliGemmaProcessor,
    PaliGemmaForConditionalGeneration,
)
from transformers.image_utils import load_image
import torch

model_id = "google/paligemma2-28b-mix-448"

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg"
image = load_image(url)

model = PaliGemmaForConditionalGeneration.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto").eval()
processor = PaliGemmaProcessor.from_pretrained(model_id)

prompt = "describe en"
model_inputs = processor(text=prompt, images=image, return_tensors="pt").to(torch.bfloat16).to(model.device)
input_len = model_inputs["input_ids"].shape[-1]

with torch.inference_mode():
    generation = model.generate(**model_inputs, max_new_tokens=100, do_sample=False)
    generation = generation[0][input_len:]
    decoded = processor.decode(generation, skip_special_tokens=True)
    print(decoded)

這裡有一個筆記本展示瞭如何微調PaliGemma 2。

📚 詳細文檔

模型信息

模型概述

PaliGemma 2是PaliGemma視覺語言模型（VLM）的更新版本，它融合了Gemma 2模型的能力。PaliGemma系列模型受PaLI - 3啟發，基於SigLIP視覺模型和Gemma 2語言模型等開放組件構建。它以圖像和文本作為輸入，生成文本作為輸出，支持多種語言。該模型旨在在廣泛的視覺語言任務（如圖像和短視頻字幕、視覺問答、文本閱讀、目標檢測和分割）上實現領先的微調性能。

模型架構

PaliGemma 2由Transformer解碼器和視覺Transformer圖像編碼器組成。文本解碼器從參數大小為2B、9B和27B的Gemma 2初始化。圖像編碼器從SigLIP - So400m/14初始化。與原始的PaliGemma模型類似，PaliGemma 2按照PaLI - 3的方法進行訓練。

輸入和輸出

• 輸入：圖像和文本字符串，如圖像字幕提示或問題。
• 輸出：對輸入的響應生成的文本，如圖像字幕、問題答案、對象邊界框座標列表或分割碼字。

模型數據

預訓練數據集

PaliGemma 2在以下數據集的混合上進行預訓練：

• WebLI：WebLI（Web語言圖像）是一個基於公共網絡構建的網絡規模多語言圖像 - 文本數據集。使用了多種WebLI分割來獲得通用的模型能力，如視覺語義理解、對象定位、視覺情境文本理解和多語言能力。
• CC3M - 35L：從網頁中精心挑選的英語圖像 - 替代文本對（Sharma等人，2018）。使用Google Cloud Translation API將其翻譯成另外34種語言。
• VQ²A - CC3M - 35L/VQG - CC3M - 35L：VQ2A - CC3M的一個子集（Changpinyo等人，2022a），使用Google Cloud Translation API翻譯成與CC3M - 35L相同的另外34種語言。
• OpenImages：基於[OpenImages數據集]通過手工規則生成的檢測和對象感知問答（Piergiovanni等人，2022）。
• WIT：從維基百科收集的圖像和文本（Srinivasan等人，2021）。

[OpenImages數據集]：https://storage.googleapis.com/openimages/web/factsfigures_v7.html

PaliGemma 2基於Gemma 2，你可以在Gemma 2模型卡片中找到Gemma 2的預訓練數據集信息。

數據責任過濾

為了在安全和負責任的數據上訓練PaliGemma 2，對WebLI應用了以下過濾器：

• 色情圖像過濾：此過濾器移除被認為具有色情性質的圖像。
• 文本安全過濾：識別並過濾掉與不安全文本配對的圖像。不安全文本是指任何被認為包含或涉及兒童性虐待圖像（CSAI）、色情內容、粗俗語言或其他冒犯性內容的文本。
• 文本毒性過濾：進一步使用Perspective API識別並過濾掉與被認為具有侮辱性、淫穢、仇恨或其他毒性的文本配對的圖像。
• 文本個人信息過濾：使用Cloud Data Loss Prevention (DLP) API過濾某些個人信息和其他敏感數據，以保護個人隱私。移除了如社會安全號碼和[其他敏感信息類型]等標識符。
• 其他方法：根據內容質量和安全性，按照我們的政策和實踐進行過濾。

[其他敏感信息類型]：https://cloud.google.com/sensitive-data-protection/docs/high-sensitivity-infotypes-reference?_gl=1jg604m_gaODk5MzA3ODQyLjE3MTAzMzQ3NTk._ga_WH2QY8WWF5*MTcxMDUxNTkxMS4yLjEuMTcxMDUxNjA2NC4wLjAuMA..&_ga=2.172110058.-899307842.1710334759

實現信息

硬件

PaliGemma 2使用最新一代的張量處理單元（TPU）硬件（TPUv5e）進行訓練。

軟件

訓練使用JAX、Flax、TFDS和big_vision完成。

JAX使研究人員能夠利用最新一代的硬件（包括TPU）進行更快、更高效的大型模型訓練。

TFDS用於訪問數據集，Flax用於模型架構。PaliGemma 2的微調代碼和推理代碼在big_vision GitHub倉庫中發佈。

評估信息

基準測試結果

為了驗證PaliGemma 2在各種學術任務上的可遷移性，我們在每個任務上對預訓練模型進行微調。我們報告了不同分辨率下的結果，以瞭解哪些任務受益於更高的分辨率，哪些任務受益於更大的模型。重要的是，這些任務或數據集都不是預訓練數據混合的一部分，並且它們的圖像已從網絡規模的預訓練數據中明確移除。

PaliGemma 2按模型分辨率和大小的結果

額外基準測試

[ICDAR 2015 Incidental][icdar2015 - inc]

[Total - Text][total - text]

[FinTabNet][fintabnet]

[PubTabNet][pubtabnet]

[GrandStaff][grandstaff]

[PubChem][pubchem]

• PaliGemma 2 3B，完全匹配：94.8

[DOCCI][docci]

• 平均字符數：平均字符數量
• 平均句子數：平均句子數量
• 非蘊含句子百分比：非蘊含句子的百分比

[MIMIC - CXR][mimic - cxr]

[視覺空間推理][vsr]

倫理和安全

評估方法

我們的評估方法包括跨相關內容政策的結構化倫理和安全評估，包括：

• 對涵蓋兒童安全、內容安全和代表性危害的提示進行人工評估。有關評估方法的更多詳細信息，請參閱Gemma模型卡片，但採用圖像字幕和視覺問答設置。
• 圖像到文本基準評估：與相關學術數據集（如FairFace數據集（Karkkainen等人，2021））進行基準對比。

評估結果

• 倫理和安全評估的人工評估結果在可接受的閾值內，符合內部政策中關於兒童安全、內容安全和代表性危害等類別。
• 除了嚴格的內部評估外，我們還使用Perspective API（閾值為0.8）來衡量從FairFace數據集中獲取的圖像生成字幕中的毒性、褻瀆和其他潛在問題。我們報告了每個感知性別、種族和年齡屬性的子組中觀察到的最大值和中值。

使用和限制

預期用途

開放視覺語言模型（VLM）在各個行業和領域有廣泛的應用。以下潛在用途列表並不全面。此列表的目的是提供有關模型創建者在模型訓練和開發過程中考慮的可能用例的上下文信息。Gemma模型的禁止用途在Gemma禁止使用政策中列出。

在特定視覺語言任務上進行微調：

• 預訓練模型可在廣泛的視覺語言任務（如圖像字幕、短視頻字幕、視覺問答、文本閱讀、目標檢測和分割）上進行微調。
• 預訓練模型可針對特定領域（如遙感問答、盲人的視覺問題、科學問答、描述UI元素功能）進行微調。
• 預訓練模型可針對具有非文本輸出（如邊界框或分割掩碼）的任務進行微調。

視覺語言研究：

• 預訓練模型和微調模型可作為研究人員試驗VLM技術、開發算法和推動該領域發展的基礎。

倫理考慮和風險

視覺語言模型（VLM）的開發引發了一些倫理問題。在創建開放模型時，我們仔細考慮了以下方面：

• 偏差和公平性：在大規模、真實世界的圖像 - 文本數據上訓練的VLM可能反映訓練材料中嵌入的社會文化偏差。這些模型經過了仔細審查，本卡片中描述了輸入數據預處理和後續評估報告。
• 錯誤信息和濫用：VLM可能被濫用來生成虛假、誤導或有害的文本。提供了負責任使用模型的指南，請參閱負責任的生成式AI工具包。
• 透明度和問責制：本模型卡片總結了模型的架構、能力、限制和評估過程的詳細信息。一個負責任開發的開放模型為開發者和研究人員提供了分享創新的機會，使VLM技術在AI生態系統中更易獲取。

已識別的風險和緩解措施：

• 偏差的延續：鼓勵在模型訓練、微調及其他用例中進行持續監測（使用評估指標、人工審查）並探索去偏技術。
• 有害內容的生成：內容安全機制和指南至關重要。鼓勵開發者根據其特定產品政策和應用用例謹慎行事並實施適當的內容安全保障措施。
• 惡意用途：技術限制以及對開發者和最終用戶的教育有助於減輕LLM的惡意應用。提供了教育資源和用戶標記濫用的報告機制，請參閱負責任的生成式AI工具包。Gemma模型的禁止用途在Gemma禁止使用政策中列出。
• 隱私侵犯：模型在經過過濾以去除某些個人信息和敏感數據的數據上進行訓練。鼓勵開發者遵循隱私法規並採用隱私保護技術。

限制

• 大多數從基礎Gemma 2模型繼承的限制仍然適用：
  • VLM在具有明確提示和說明的任務上表現更好。開放式或高度複雜的任務可能具有挑戰性。
  • 自然語言本質上是複雜的。VLM可能難以理解微妙的細微差別、諷刺或比喻語言。
  • VLM根據從訓練數據集中學到的信息生成響應，但它們不是知識庫。它們可能生成不正確或過時的事實陳述。
  • VLM依賴於語言和圖像中的統計模式。它們可能在某些情況下缺乏應用常識推理的能力。
• PaliGemma 2首先是作為一個通用預訓練模型設計的，用於微調至專門任務。因此，其“開箱即用”或“零樣本”性能可能落後於專門為通用目的設計的模型。
• PaliGemma 2不是多輪聊天機器人。它設計用於單輪圖像和文本輸入。

🔧 技術細節

PaliGemma 2在架構上結合了Transformer解碼器和視覺Transformer圖像編碼器，這種設計使其能夠有效地處理圖像和文本信息。在訓練過程中，使用了多種數據集進行預訓練，並對數據進行了責任過濾，以確保模型的安全性和可靠性。同時，模型在多種視覺語言任務上進行了微調，以提高其在特定任務上的性能。

📄 許可證

本模型遵循gemma許可證。

📖 引用

@article{
    title={PaliGemma 2: A Family of Versatile VLMs for Transfer},
    author={Andreas Steiner and André Susano Pinto and Michael Tschannen and Daniel Keysers and Xiao Wang and Yonatan Bitton and Alexey Gritsenko and Matthias Minderer and Anthony Sherbondy and Shangbang Long and Siyang Qin and Reeve Ingle and Emanuele Bugliarello and Sahar Kazemzadeh and Thomas Mesnard and Ibrahim Alabdulmohsin and Lucas Beyer and Xiaohua Zhai},
    year={2024},
    journal={arXiv preprint arXiv:2412.03555}
}

查看論文點擊此處。