Table Transformer Detection Ifrs

🚀 表格检测模型

本项目包含一个经过微调的表格检测模型，专门用于检测国际财务报告准则（IFRS）PDF文件中的表格。该模型基于表格转换器（Table Transformer）架构，能够从PDF和图像等非结构化文档中提取表格。

🚀 快速开始

本模型基于表格转换器架构，专门用于从IFRS格式的PDF文件中检测表格。以下是使用该模型进行表格检测的基本步骤：

from transformers import DetrForObjectDetection, DetrImageProcessor
from PIL import Image
import torch

# 加载图像处理器和模型
# DetrImageProcessor用于在将图像输入模型之前对其进行预处理
image_processor = DetrImageProcessor()

# 加载预训练的TableTransformer对象检测模型
# 该模型专门针对IFRS文档中的表格检测进行了训练
model = TableTransformerForObjectDetection.from_pretrained(
    "apkonsta/table-transformer-detection-ifrs",
)

# 准备图像
# 打开图像文件并将其转换为RGB格式
image = Image.open("path/to/your/ifrs_pdf_page.png").convert("RGB")

# 表格检测阈值
# 设置检测表格的阈值；只有置信度得分高于此阈值的检测结果才会被考虑
TD_th = 0.5

# 使用图像处理器对图像进行预处理
# 图像被编码为模型可以理解的格式
encoding = image_processor(image, return_tensors="pt")

# 在不计算梯度的情况下进行推理（节省内存和计算量）
with torch.no_grad():
    outputs = model(**encoding)

# 获取每个检测对象的概率
# 对logits应用softmax函数以获得概率
probas = outputs.logits.softmax(-1)[0, :, :-1]

# 仅保留置信度得分高于阈值的检测结果
keep = probas.max(-1).values > TD_th

# 获取后处理所需的目标大小
# 目标大小是原始图像的尺寸
target_sizes = torch.tensor(image.size[::-1]).unsqueeze(0)

# 对模型输出进行后处理以获得最终的边界框
# 边界框会被缩放到原始图像大小
postprocessed_outputs = image_processor.post_process(outputs, target_sizes)
bboxes_scaled = postprocessed_outputs[0]["boxes"][keep]

✨ 主要特性

• 基于表格转换器（Table Transformer）架构，专为从非结构化文档（如PDF和图像）中提取表格而设计。
• 针对国际财务报告准则（IFRS）PDF文件进行了微调，能够准确检测其中的表格。
• 可以检测两种类型的表格：常规表格和旋转表格。

📦 安装指南

文档未提及安装步骤，故跳过此章节。

💻 使用示例

基础用法

from transformers import DetrForObjectDetection, DetrImageProcessor
from PIL import Image
import torch

# Load the image processor and model
# DetrImageProcessor is used to preprocess the images before feeding them to the model
image_processor = DetrImageProcessor()

# Load the pre-trained TableTransformer model for object detection
# This model is specifically trained for detecting tables in IFRS documents
model = TableTransformerForObjectDetection.from_pretrained(
    "apkonsta/table-transformer-detection-ifrs",
)

# Prepare the image
# Open the image file and convert it to RGB format
image = Image.open("path/to/your/ifrs_pdf_page.png").convert("RGB")

# Table detection threshold
# Set a threshold for detecting tables; only detections with a confidence score above this threshold will be considered
TD_th = 0.5

# Preprocess the image using the image processor
# The image is encoded into a format that the model can understand
encoding = image_processor(image, return_tensors="pt")

# Perform inference without computing gradients (saves memory and computations)
with torch.no_grad():
    outputs = model(**encoding)

# Get the probabilities for each detected object
# The softmax function is applied to the logits to get probabilities
probas = outputs.logits.softmax(-1)[0, :, :-1]

# Keep only the detections with a confidence score above the threshold
keep = probas.max(-1).values > TD_th

# Get the target sizes for post-processing
# The target sizes are the dimensions of the original image
target_sizes = torch.tensor(image.size[::-1]).unsqueeze(0)

# Post-process the model outputs to get the final bounding boxes
# The bounding boxes are scaled back to the original image size
postprocessed_outputs = image_processor.post_process(outputs, target_sizes)
bboxes_scaled = postprocessed_outputs[0]["boxes"][keep]

高级用法

文档未提及高级用法相关代码，故跳过此部分。

📚 详细文档

模型详情

示例图像

🔧 技术细节

文档未提供超过50字的具体技术说明，故跳过此章节。

📄 许可证

文档未提及许可证信息，故跳过此章节。