Paligemma 3b Mix 448 Ft TableDetection

🚀 paligemma-3b-mix-448-ft-TableDetection

本模型是 google/paligemma-3b-mix-448 在 ucsahin/pubtables-detection-1500-samples 數據集上進行混合精度微調後的版本。該模型在評估集上取得了以下結果：

• 損失值：1.3544

✨ 主要特性

• 這是一個多模態語言模型，針對給定文本提示檢測圖像中表格的任務進行了微調。模型結合圖像和文本輸入，預測給定圖像中表格的邊界框。
• 該模型的主要用途是協助自動化圖像中表格的檢測過程。它可用於各種應用程序，如文檔處理、數據提取和圖像分析，在這些應用中，識別圖像中的表格至關重要。

🚀 快速開始

模型加載

在 Transformers 中，你可以按以下方式加載模型：

from transformers import PaliGemmaForConditionalGeneration, PaliGemmaProcessor
import torch

model_id = "ucsahin/paligemma-3b-mix-448-ft-TableDetection"

device = "cuda:0"
dtype = torch.bfloat16

model = PaliGemmaForConditionalGeneration.from_pretrained(
    model_id,
    torch_dtype=dtype,
    device_map=device
)

processor = PaliGemmaProcessor.from_pretrained(model_id)

推理過程

進行推理時，你可以使用以下代碼：

# # 指示模型檢測表格
prompt = "detect table"
model_inputs = processor(text=prompt, images=image, return_tensors="pt").to(device)
input_len = model_inputs["input_ids"].shape[-1]

with torch.inference_mode():
    generation = model.generate(**model_inputs, max_new_tokens=128, do_sample=False)
    generation = generation[0][input_len:]
    bbox_text = processor.decode(generation, skip_special_tokens=True)
    print(bbox_text)

量化模型加載

你還可以使用 bitsandbytes 加載 4 位或 8 位量化模型。不過要注意，模型生成的輸出可能需要進一步的後處理，例如可能會出現五個位置標籤 "<loc[value]>" 而不是四個，以及除 "table" 之外的不同標籤。提供的後處理腳本應該可以處理第一種情況。 使用以下代碼加載 4 位量化模型：

from transformers import PaliGemmaForConditionalGeneration, PaliGemmaProcessor, BitsAndBytesConfig
import torch

model_id = "ucsahin/paligemma-3b-mix-448-ft-TableDetection"

device = "cuda:0"
dtype = torch.bfloat16

bnb_config = BitsAndBytesConfig(
        load_in_4bit=True,
        bnb_4bit_quant_type="nf4",
        bnb_4bit_compute_dtype=dtype
)

model = PaliGemmaForConditionalGeneration.from_pretrained(
    model_id,
    torch_dtype=dtype,
    device_map=device,
    quantization_config=bnb_config
)

processor = PaliGemmaProcessor.from_pretrained(model_id)

💻 使用示例

基礎用法

# 模型加載代碼
from transformers import PaliGemmaForConditionalGeneration, PaliGemmaProcessor
import torch

model_id = "ucsahin/paligemma-3b-mix-448-ft-TableDetection"

device = "cuda:0"
dtype = torch.bfloat16

model = PaliGemmaForConditionalGeneration.from_pretrained(
    model_id,
    torch_dtype=dtype,
    device_map=device
)

processor = PaliGemmaProcessor.from_pretrained(model_id)

# 推理代碼
prompt = "detect table"
model_inputs = processor(text=prompt, images=image, return_tensors="pt").to(device)
input_len = model_inputs["input_ids"].shape[-1]

with torch.inference_mode():
    generation = model.generate(**model_inputs, max_new_tokens=128, do_sample=False)
    generation = generation[0][input_len:]
    bbox_text = processor.decode(generation, skip_special_tokens=True)
    print(bbox_text)

高級用法

# 後處理代碼
import re

def post_process(bbox_text, image_width, image_height):
    loc_values_str = [bbox.strip() for bbox in bbox_text.split(";")]
    
    converted_bboxes = []
    for loc_value_str in loc_values_str:
        loc_values = re.findall(r'<loc(\d+)>', loc_value_str)
        loc_values = [int(x) for x in loc_values]
        loc_values = loc_values[:4] 
        
        loc_values = [value/1024 for value in loc_values]
        # convert to (xmin, ymin, xmax, ymax)
        loc_values = [
            int(loc_values[1]*image_width), int(loc_values[0]*image_height), 
            int(loc_values[3]*image_width), int(loc_values[2]*image_height), 
        ]
        converted_bboxes.append(loc_values)
    
    return converted_bboxes

🔧 技術細節

輸入

• 圖像：模型需要包含一個或多個表格的圖像作為輸入。圖像應採用標準格式，如 JPEG 或 PNG。
• 文本提示：此外，需要一個文本提示來引導模型關注表格檢測任務。提示應明確指出所需的操作。請使用 "detect table" 作為你的文本提示。

輸出

• 邊界框：模型以特殊的 <loc[value]> 標記形式輸出邊界框座標的位置，其中 value 是一個表示歸一化座標的數字。每個檢測結果由四個位置座標按 y_min、x_min、y_max、x_max 的順序表示，後面跟著該框中檢測到的標籤。要將值轉換為座標，首先需要將數字除以 1024，然後將 y 乘以圖像高度，將 x 乘以圖像寬度。這將為你提供相對於原始圖像大小的邊界框座標。 如果一切順利，模型將根據圖像中檢測到的表格數量輸出類似於 "<loc[value]><loc[value]><loc[value]><loc[value]> table; <loc[value]><loc[value]><loc[value]><loc[value]> table" 的文本。然後，你可以使用以下腳本將文本輸出轉換為 PASCAL VOC 格式的邊界框。

訓練超參數

以下是訓練期間使用的超參數：

訓練結果

框架版本

• PEFT 0.11.1
• Transformers 4.42.0.dev0
• Pytorch 2.3.0+cu121
• Datasets 2.19.1
• Tokenizers 0.19.1

📄 許可證

本模型使用 gemma 許可證。

⚠️ 重要提示

你可以使用 bitsandbytes 加載量化的 4 位或 8 位模型。但要注意，模型生成的輸出可能需要進一步的後處理，例如可能會出現五個位置標籤 "<loc[value]>" 而不是四個，以及除 "table" 之外的不同標籤。提供的後處理腳本應該可以處理第一種情況。

💡 使用建議

請使用 "detect table" 作為文本提示，以引導模型關注表格檢測任務。