Lilt Xlm Roberta Base Finetuned With DocLayNet Base At Linelevel Ml384

🚀 文檔理解模型（在DocLayNet基礎數據集上按行微調LiLT基礎模型）

該模型是一個文檔理解模型，基於nielsr/lilt-xlm-roberta-base在DocLayNet基礎數據集上進行微調。它能對文檔佈局進行精準分析和分類，在文檔理解任務中表現出色，為處理各類文檔提供了有效的解決方案。

🚀 快速開始

此模型可通過Hugging Face Spaces中的APP進行測試：行級文檔理解推理應用（v1）。

✨ 主要特性

• 多語言支持：支持多種語言，包括英語、德語、法語和日語等。
• 多任務處理：可用於目標檢測、圖像分割和標記分類等任務。
• 高精度表現：在評估集上取得了較高的準確率、召回率和F1值。

📚 詳細文檔

評估集結果

該模型在評估集上取得了以下結果：

• 損失：1.0003
• 精確率：0.8584
• 召回率：0.8584
• F1值：0.8584
• 標記準確率：0.8584
• 行準確率：0.9197

行級準確率

• 行準確率：91.97%
• 按標籤分類的準確率：
  • 標題說明：79.42%
  • 腳註：68.21%
  • 公式：98.02%
  • 列表項：82.72%
  • 頁面頁腳：99.17%
  • 頁面頁眉：84.18%
  • 圖片：83.2%
  • 章節標題：76.92%
  • 表格：97.65%
  • 文本：91.17%
  • 標題：77.46%

參考資料

博客文章

• Layout XLM基礎模型
  • (2023年5月3日) 文檔AI | 使用LayoutXLM基礎模型進行行級文檔理解的推理應用和微調筆記本
• LiLT基礎模型
  • (2023年2月16日) 文檔AI | 使用文檔理解模型進行段落級推理應用和微調筆記本
  • (2023年2月14日) 文檔AI | 行級文檔理解推理應用
  • (2023年2月10日) 文檔AI | 使用LiLT、Tesseract和DocLayNet數據集的行級文檔理解模型
  • (2023年1月31日) 文檔AI | DocLayNet圖像查看器應用
  • (2023年1月27日) 文檔AI | 處理DocLayNet數據集以供Hugging Face Hub的佈局模型使用（微調、推理）

筆記本（段落級）

• LiLT基礎模型
  • 文檔AI | 使用文檔理解模型（在DocLayNet數據集上微調的LiLT）進行段落級推理應用
  • 文檔AI | 使用文檔理解模型（在DocLayNet數據集上微調的LiLT）進行段落級推理
  • 文檔AI | 在任何語言下按段落級（512個標記塊，有重疊）在DocLayNet基礎數據集上微調LiLT

筆記本（行級）

• Layout XLM基礎模型
  • 文檔AI | 使用文檔理解模型（在DocLayNet數據集上微調的LayoutXLM基礎模型）進行行級推理
  • 文檔AI | 使用文檔理解模型（在DocLayNet基礎數據集上微調的LayoutXLM基礎模型）進行行級推理應用
  • 文檔AI | 在任何語言下按行級（384個標記塊，有重疊）在DocLayNet基礎數據集上微調LayoutXLM基礎模型
• LiLT基礎模型
  • 文檔AI | 使用文檔理解模型（在DocLayNet數據集上微調的LiLT）進行行級推理
  • 文檔AI | 使用文檔理解模型（在DocLayNet數據集上微調的LiLT）進行行級推理應用
  • 文檔AI | 在任何語言下按行級（384個標記塊，有重疊）在DocLayNet基礎數據集上微調LiLT
  • DocLayNet圖像查看器應用
  • 處理DocLayNet數據集以供Hugging Face Hub的佈局模型使用（微調、推理）

DocLayNet數據集

DocLayNet數據集（IBM）為來自6個文檔類別的80863個唯一頁面，提供了逐頁佈局分割的真實標註，使用邊界框標註了11個不同的類別標籤。

到目前為止，該數據集可以通過直接鏈接下載，也可以從Hugging Face數據集庫中獲取：

• 直接鏈接：doclaynet_core.zip（28 GiB），doclaynet_extra.zip（7.5 GiB）
• Hugging Face數據集庫：DocLayNet數據集

論文：DocLayNet: A Large Human-Annotated Dataset for Document-Layout Analysis（2022年6月2日）

模型描述

該模型是在384個標記塊上按行級進行微調，標記塊重疊128個標記。因此，該模型使用了數據集中所有頁面的佈局和文本數據進行訓練。

在推理時，通過計算最佳概率為每個行邊界框分配標籤。

推理

請參閱筆記本：文檔AI | 使用文檔理解模型（在DocLayNet數據集上微調的LiLT）進行行級推理

訓練和評估數據

請參閱筆記本：文檔AI | 在任何語言下按行級（384個標記塊，有重疊）在DocLayNet基礎數據集上微調LiLT

訓練過程

訓練超參數

訓練期間使用了以下超參數：

• 學習率：5e-05
• 訓練批次大小：8
• 評估批次大小：16
• 隨機種子：42
• 優化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
• 學習率調度器類型：線性
• 訓練輪數：5
• 混合精度訓練：原生自動混合精度（Native AMP）

訓練結果

框架版本

• Transformers 4.26.0
• Pytorch 1.13.1+cu116
• Datasets 2.9.0
• Tokenizers 0.13.2

其他模型

• 行級
  • 文檔理解模型（在DocLayNet基礎數據集上按行級微調LiLT基礎模型）（準確率 | 標記：85.84% - 行：91.97%）
  • 文檔理解模型（在DocLayNet基礎數據集上按行級微調LayoutXLM基礎模型）（準確率 | 標記：93.73% - 行：...）
• 段落級
  • 文檔理解模型（在DocLayNet基礎數據集上按段落級微調LiLT基礎模型）（準確率 | 標記：86.34% - 段落：68.15%）
  • 文檔理解模型（在DocLayNet基礎數據集上按段落級微調LayoutXLM基礎模型）（準確率 | 標記：96.93% - 段落：86.55%）

📄 許可證

本項目採用MIT許可證。