Layout Xlm Base Finetuned With DocLayNet Base At Linelevel Ml384

🚀 文檔理解模型（在DocLayNet基礎數據集上按行級別微調的LayoutXLM基礎模型）

該模型是一個文檔理解模型，基於microsoft/layoutxlm-base，使用DocLayNet base數據集進行微調。它在文檔佈局分析和理解方面表現出色，能為各類文檔提供準確的結構識別和內容分類。

🚀 快速開始

本模型可用於文檔理解任務，特別是在文檔佈局分析和行級別的文本分類方面。你可以通過以下資源快速上手：

• 推理：參考筆記本 Document AI | Inference at line level with a Document Understanding model (LayoutXLM base fine-tuned on DocLayNet dataset)。
• 訓練和評估：參考筆記本 Document AI | Fine-tune LayoutXLM base on DocLayNet base in any language at line level (chunk of 384 tokens with overlap)。

✨ 主要特性

• 多語言支持：支持多種語言，適用於不同語言環境下的文檔理解。
• 高精度：在評估集上取得了良好的指標，如F1值達到0.7336，準確率達到0.9373。
• 行級處理：模型在384個標記的塊上按行級別進行微調，能夠對每行文本進行準確分類。

📚 詳細文檔

模型描述

該模型在384個標記的塊上按行級別進行微調，重疊128個標記。因此，模型使用了數據集中所有頁面的佈局和文本數據進行訓練。在推理時，通過計算最佳概率為每個行邊界框分配標籤。

推理

你可以參考以下筆記本進行推理：Document AI | Inference at line level with a Document Understanding model (LayoutXLM base fine-tuned on DocLayNet dataset)。

訓練和評估數據

關於訓練和評估數據的詳細信息，請參考筆記本：Document AI | Fine-tune LayoutXLM base on DocLayNet base in any language at line level (chunk of 384 tokens with overlap)。

訓練過程

訓練超參數

訓練過程中使用了以下超參數：

訓練結果

框架版本

• Transformers 4.26.1
• Pytorch 1.10.0+cu111
• Datasets 2.10.1
• Tokenizers 0.13.2

參考資料

博客文章

• Layout XLM base
  • (03/05/2023) Document AI | Inference APP and fine-tuning notebook for Document Understanding at line level with LayoutXLM base
• LiLT base
  • (02/16/2023) Document AI | Inference APP and fine-tuning notebook for Document Understanding at paragraph level
  • (02/14/2023) Document AI | Inference APP for Document Understanding at line level
  • (02/10/2023) Document AI | Document Understanding model at line level with LiLT, Tesseract and DocLayNet dataset
  • (01/31/2023) Document AI | DocLayNet image viewer APP
  • (01/27/2023) Document AI | Processing of DocLayNet dataset to be used by layout models of the Hugging Face hub (finetuning, inference)

筆記本（段落級別）

• LiLT base
  • Document AI | Inference APP at paragraph level with a Document Understanding model (LiLT fine-tuned on DocLayNet dataset)
  • Document AI | Inference at paragraph level with a Document Understanding model (LiLT fine-tuned on DocLayNet dataset)
  • Document AI | Fine-tune LiLT on DocLayNet base in any language at paragraph level (chunk of 512 tokens with overlap)

筆記本（行級別）

• Layout XLM base
  • Document AI | Inference at line level with a Document Understanding model (LayoutXLM base fine-tuned on DocLayNet dataset)
  • Document AI | Inference APP at line level with a Document Understanding model (LayoutXLM base fine-tuned on DocLayNet base dataset)
  • Document AI | Fine-tune LayoutXLM base on DocLayNet base in any language at line level (chunk of 384 tokens with overlap)
• LiLT base
  • Document AI | Inference at line level with a Document Understanding model (LiLT fine-tuned on DocLayNet dataset)
  • Document AI | Inference APP at line level with a Document Understanding model (LiLT fine-tuned on DocLayNet dataset)
  • Document AI | Fine-tune LiLT on DocLayNet base in any language at line level (chunk of 384 tokens with overlap)
  • DocLayNet image viewer APP
  • Processing of DocLayNet dataset to be used by layout models of the Hugging Face hub (finetuning, inference)

APP

你可以使用Hugging Face Spaces中的這個應用程序測試該模型：Inference APP for Document Understanding at line level (v2)。

DocLayNet數據集

DocLayNet數據集（IBM）為來自6個文檔類別的80863個唯一頁面上的11個不同類別標籤提供了逐頁佈局分割的真實標註，使用了邊界框。到目前為止，該數據集可以通過直接鏈接或從Hugging Face數據集下載：

• 直接鏈接：doclaynet_core.zip（28 GiB），doclaynet_extra.zip（7.5 GiB）
• Hugging Face數據集庫：dataset DocLayNet

論文：DocLayNet: A Large Human-Annotated Dataset for Document-Layout Analysis（06/02/2022）

其他模型

• 行級別
  • Document Understanding model (finetuned LiLT base at line level on DocLayNet base)（準確率 | 標記：85.84% - 行：91.97%）
  • Document Understanding model (finetuned LayoutXLM base at line level on DocLayNet base)（準確率 | 標記：93.73% - 行：...）
• 段落級別
  • Document Understanding model (finetuned LiLT base at paragraph level on DocLayNet base)（準確率 | 標記：86.34% - 段落：68.15%）
  • Document Understanding model (finetuned LayoutXLM base at paragraph level on DocLayNet base)（準確率 | 標記：96.93% - 段落：86.55%）

📄 許可證

本模型採用MIT許可證。