Paligemma2 10b Ft Docci 448

🚀 PaliGemma 2模型卡片

PaliGemma 2是一款多功能的視覺語言模型（VLM），它結合了圖像和文本處理能力，可用於圖像描述、視覺問答等多種任務。該模型基於Gemma 2架構，經過在多個數據集上的預訓練和微調，具有出色的性能和廣泛的適用性。

模型信息鏈接

• 模型頁面：PaliGemma
• 資源和技術文檔：
  • PaliGemma 2 on Kaggle
  • Responsible Generative AI Toolkit
• 使用條款：Terms
• 作者：Google

🚀 快速開始

要訪問Hugging Face上的PaliGemma，你需要查看並同意Google的使用許可。請確保你已登錄Hugging Face，然後點擊下方按鈕。請求將立即處理。 [確認許可](Acknowledge license)

Transformers PaliGemma 2 10B權重是在DOCCI數據集上使用448*448輸入圖像進行微調的。該模型僅以bfloat16格式提供，用於研究目的。微調配置可在big_vision中找到。

✨ 主要特性

• 多模態處理：能夠同時處理圖像和文本輸入，生成文本輸出。
• 多語言支持：支持多種語言，適用於不同地區的用戶。
• 高性能微調：在多種視覺語言任務上具有出色的微調性能。

📦 安裝指南

本部分未提及具體安裝步驟，暫不提供相關內容。

💻 使用示例

基礎用法

from transformers import (
    PaliGemmaProcessor,
    PaliGemmaForConditionalGeneration,
)
from transformers.image_utils import load_image
import torch

model_id = "google/paligemma2-3b-ft-docci-448"

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg"
image = load_image(url)

model = PaliGemmaForConditionalGeneration.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto").eval()
processor = PaliGemmaProcessor.from_pretrained(model_id)

# Instruct the model to create a caption in English
prompt = "caption en"
model_inputs = processor(text=prompt, images=image, return_tensors="pt").to(torch.bfloat16).to(model.device)
input_len = model_inputs["input_ids"].shape[-1]

with torch.inference_mode():
    generation = model.generate(**model_inputs, max_new_tokens=100, do_sample=False)
    generation = generation[0][input_len:]
    decoded = processor.decode(generation, skip_special_tokens=True)
    print(decoded)

📚 詳細文檔

模型信息

模型概述

PaliGemma 2是PaliGemma視覺語言模型（VLM）的更新版本，它融合了Gemma 2模型的能力。PaliGemma系列模型受到PaLI - 3的啟發，基於開放組件構建，如SigLIP視覺模型和Gemma 2語言模型。它以圖像和文本作為輸入，生成文本作為輸出，支持多種語言。該模型專為在各種視覺語言任務（如圖像和短視頻描述、視覺問答、文本閱讀、目標檢測和目標分割）上實現領先的微調性能而設計。

模型架構

PaliGemma 2由Transformer解碼器和Vision Transformer圖像編碼器組成。文本解碼器從Gemma 2的2B、9B和27B參數大小版本初始化。圖像編碼器從SigLIP - So400m/14初始化。與原始的PaliGemma模型類似，PaliGemma 2按照PaLI - 3的方法進行訓練。

輸入和輸出

• 輸入：圖像和文本字符串，如圖像描述提示或問題。
• 輸出：針對輸入生成的文本，如圖像描述、問題答案、目標邊界框座標列表或分割碼字。

引用

@article{
    title={PaliGemma 2: A Family of Versatile VLMs for Transfer},
    author={Andreas Steiner and André Susano Pinto and Michael Tschannen and Daniel Keysers and Xiao Wang and Yonatan Bitton and Alexey Gritsenko and Matthias Minderer and Anthony Sherbondy and Shangbang Long and Siyang Qin and Reeve Ingle and Emanuele Bugliarello and Sahar Kazemzadeh and Thomas Mesnard and Ibrahim Alabdulmohsin and Lucas Beyer and Xiaohua Zhai},
    year={2024},
    journal={arXiv preprint arXiv:2412.03555}
}

模型數據

預訓練數據集

PaliGemma 2在以下數據集的混合上進行預訓練：

• WebLI：WebLI (Web Language Image)是一個基於公共網絡構建的網絡規模多語言圖像 - 文本數據集。使用了多種WebLI分割來獲得通用的模型能力，如視覺語義理解、目標定位、視覺情境文本理解和多語言能力。
• CC3M - 35L：從網頁中精心挑選的英語圖像 - 替代文本對（Sharma et al., 2018）。使用Google Cloud Translation API將其翻譯成另外34種語言。
• VQ²A - CC3M - 35L/VQG - CC3M - 35L：VQ2A - CC3M的一個子集（Changpinyo et al., 2022a），使用Google Cloud Translation API翻譯成與CC3M - 35L相同的另外34種語言。
• OpenImages：基於OpenImages數據集通過手工規則生成的檢測和目標感知問題及答案（Piergiovanni et al. 2022）。
• WIT：從維基百科收集的圖像和文本（Srinivasan et al., 2021）。

PaliGemma 2基於Gemma 2，你可以在Gemma 2模型卡片中找到Gemma 2的預訓練數據集信息。

數據責任過濾

為了在安全和負責任的數據上訓練PaliGemma 2，對WebLI應用了以下過濾：

• 色情圖像過濾：此過濾器去除被認為具有色情性質的圖像。
• 文本安全過濾：識別並過濾掉與不安全文本配對的圖像。不安全文本是指任何被認為包含或涉及兒童性虐待圖像（CSAI）、色情內容、粗俗內容或其他冒犯性內容的文本。
• 文本毒性過濾：進一步使用Perspective API識別並過濾掉與被認為具有侮辱性、淫穢性、仇恨性或其他毒性的文本配對的圖像。
• 文本個人信息過濾：使用Cloud Data Loss Prevention (DLP) API過濾某些個人信息和其他敏感數據，以保護個人隱私。去除了如社會安全號碼和其他敏感信息類型等標識符。
• 其他方法：根據我們的政策和實踐，基於內容質量和安全性進行過濾。

🔧 技術細節

硬件

PaliGemma 2使用最新一代的張量處理單元（TPU）硬件（TPUv5e）進行訓練。

軟件

訓練使用JAX、Flax、TFDS和big_vision完成。

JAX允許研究人員利用最新一代的硬件（包括TPU）來更快、更高效地訓練大型模型。

TFDS用於訪問數據集，Flax用於模型架構。PaliGemma 2的微調代碼和推理代碼在big_vision GitHub倉庫中發佈。

📊 評估信息

基準測試結果

為了驗證PaliGemma 2在各種學術任務上的可遷移性，我們在每個任務上對預訓練模型進行微調。我們報告了不同分辨率下的結果，以瞭解哪些任務受益於更高的分辨率。重要的是，這些任務或數據集都不是預訓練數據混合的一部分，並且它們的圖像已從網絡規模的預訓練數據中明確移除。

按模型分辨率和大小劃分的PaliGemma 2結果

其他基準測試

[ICDAR 2015 Incidental][icdar2015 - inc]

[Total - Text][total - text]

[FinTabNet][fintabnet]

[PubTabNet][pubtabnet]

[GrandStaff][grandstaff]

[PubChem][pubchem]

• PaliGemma 2 3B，完全匹配：94.8

[DOCCI][docci]

• avg#char：平均字符數
• avg#sent：平均句子數
• NES：非蘊含句子

[MIMIC - CXR][mimic - cxr]

[Visual Spatial Reasoning][vsr]

📄 許可證

本模型基於gemma許可證。