Detr Layout Detection

🚀 DETR-layout-detection

このモデルcmarkea/detr-layout-detectionは、文書画像から様々なレイアウト（テキスト、画像、キャプション、脚注など）を抽出することができます。これは、detr-resnet-50モデルをDocLayNetデータセットでファインチューニングしたものです。このモデルは、文書オブジェクトのマスクとバウンディングボックスを同時に予測することができ、ODQAシステムに取り込む文書コーパスの処理に最適です。

このモデルは、以下の11種類のエンティティを抽出することができます：キャプション、脚注、数式、リスト項目、ページフッター、ページヘッダー、画像、セクションヘッダー、表、テキスト、およびタイトル。

🚀 クイックスタート

このセクションでは、モデルの性能をセマンティックセグメンテーションと物体検出の観点からそれぞれ評価します。どちらの場合も、推定後には後処理を行っていません。

セマンティックセグメンテーションでは、各ピクセルの分類を評価するためにF1スコアを使用します。物体検出では、Generalized Intersection over Union (GIoU) と予測されたバウンディングボックスのクラスの精度に基づいて性能を評価します。評価は、DocLayNetのPDF評価データセットの500ページに対して行われます。

✨ 主な機能

ここでは、このモデルの性能を他のモデルと比較します。

💻 使用例

基本的な使用法

from transformers import AutoImageProcessor
from transformers.models.detr import DetrForSegmentation

img_proc = AutoImageProcessor.from_pretrained(
    "cmarkea/detr-layout-detection"
)
model = DetrForSegmentation.from_pretrained(
    "cmarkea/detr-layout-detection"
)

img: PIL.Image

with torch.inference_mode():
    input_ids = img_proc(img, return_tensors='pt')
    output = model(**input_ids)

threshold=0.4

segmentation_mask = img_proc.post_process_segmentation(
    output,
    threshold=threshold,
    target_sizes=[img.size[::-1]]
)

bbox_pred = img_proc.post_process_object_detection(
    output,
    threshold=threshold,
    target_sizes=[img.size[::-1]]
)

実行例

📚 ドキュメント

@online{DeDetrLay,
  AUTHOR = {Cyrile Delestre},
  URL = {https://huggingface.co/cmarkea/detr-layout-detection},
  YEAR = {2024},
  KEYWORDS = {Image Processing ; Transformers ; Layout},
}

📄 ライセンス

このプロジェクトは、apache-2.0ライセンスの下で公開されています。