Lilt Xlm Roberta Base Finetuned With DocLayNet Base At Linelevel Ml384

🚀 文档理解模型（在DocLayNet基础数据集上按行微调LiLT基础模型）

该模型是一个文档理解模型，基于nielsr/lilt-xlm-roberta-base在DocLayNet基础数据集上进行微调。它能对文档布局进行精准分析和分类，在文档理解任务中表现出色，为处理各类文档提供了有效的解决方案。

🚀 快速开始

此模型可通过Hugging Face Spaces中的APP进行测试：行级文档理解推理应用（v1）。

✨ 主要特性

• 多语言支持：支持多种语言，包括英语、德语、法语和日语等。
• 多任务处理：可用于目标检测、图像分割和标记分类等任务。
• 高精度表现：在评估集上取得了较高的准确率、召回率和F1值。

📚 详细文档

评估集结果

该模型在评估集上取得了以下结果：

• 损失：1.0003
• 精确率：0.8584
• 召回率：0.8584
• F1值：0.8584
• 标记准确率：0.8584
• 行准确率：0.9197

行级准确率

• 行准确率：91.97%
• 按标签分类的准确率：
  • 标题说明：79.42%
  • 脚注：68.21%
  • 公式：98.02%
  • 列表项：82.72%
  • 页面页脚：99.17%
  • 页面页眉：84.18%
  • 图片：83.2%
  • 章节标题：76.92%
  • 表格：97.65%
  • 文本：91.17%
  • 标题：77.46%

参考资料

博客文章

• Layout XLM基础模型
  • (2023年5月3日) 文档AI | 使用LayoutXLM基础模型进行行级文档理解的推理应用和微调笔记本
• LiLT基础模型
  • (2023年2月16日) 文档AI | 使用文档理解模型进行段落级推理应用和微调笔记本
  • (2023年2月14日) 文档AI | 行级文档理解推理应用
  • (2023年2月10日) 文档AI | 使用LiLT、Tesseract和DocLayNet数据集的行级文档理解模型
  • (2023年1月31日) 文档AI | DocLayNet图像查看器应用
  • (2023年1月27日) 文档AI | 处理DocLayNet数据集以供Hugging Face Hub的布局模型使用（微调、推理）

笔记本（段落级）

• LiLT基础模型
  • 文档AI | 使用文档理解模型（在DocLayNet数据集上微调的LiLT）进行段落级推理应用
  • 文档AI | 使用文档理解模型（在DocLayNet数据集上微调的LiLT）进行段落级推理
  • 文档AI | 在任何语言下按段落级（512个标记块，有重叠）在DocLayNet基础数据集上微调LiLT

笔记本（行级）

• Layout XLM基础模型
  • 文档AI | 使用文档理解模型（在DocLayNet数据集上微调的LayoutXLM基础模型）进行行级推理
  • 文档AI | 使用文档理解模型（在DocLayNet基础数据集上微调的LayoutXLM基础模型）进行行级推理应用
  • 文档AI | 在任何语言下按行级（384个标记块，有重叠）在DocLayNet基础数据集上微调LayoutXLM基础模型
• LiLT基础模型
  • 文档AI | 使用文档理解模型（在DocLayNet数据集上微调的LiLT）进行行级推理
  • 文档AI | 使用文档理解模型（在DocLayNet数据集上微调的LiLT）进行行级推理应用
  • 文档AI | 在任何语言下按行级（384个标记块，有重叠）在DocLayNet基础数据集上微调LiLT
  • DocLayNet图像查看器应用
  • 处理DocLayNet数据集以供Hugging Face Hub的布局模型使用（微调、推理）

DocLayNet数据集

DocLayNet数据集（IBM）为来自6个文档类别的80863个唯一页面，提供了逐页布局分割的真实标注，使用边界框标注了11个不同的类别标签。

到目前为止，该数据集可以通过直接链接下载，也可以从Hugging Face数据集库中获取：

• 直接链接：doclaynet_core.zip（28 GiB），doclaynet_extra.zip（7.5 GiB）
• Hugging Face数据集库：DocLayNet数据集

论文：DocLayNet: A Large Human-Annotated Dataset for Document-Layout Analysis（2022年6月2日）

模型描述

该模型是在384个标记块上按行级进行微调，标记块重叠128个标记。因此，该模型使用了数据集中所有页面的布局和文本数据进行训练。

在推理时，通过计算最佳概率为每个行边界框分配标签。

推理

请参阅笔记本：文档AI | 使用文档理解模型（在DocLayNet数据集上微调的LiLT）进行行级推理

训练和评估数据

请参阅笔记本：文档AI | 在任何语言下按行级（384个标记块，有重叠）在DocLayNet基础数据集上微调LiLT

训练过程

训练超参数

训练期间使用了以下超参数：

• 学习率：5e-05
• 训练批次大小：8
• 评估批次大小：16
• 随机种子：42
• 优化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
• 学习率调度器类型：线性
• 训练轮数：5
• 混合精度训练：原生自动混合精度（Native AMP）

训练结果

框架版本

• Transformers 4.26.0
• Pytorch 1.13.1+cu116
• Datasets 2.9.0
• Tokenizers 0.13.2

其他模型

• 行级
  • 文档理解模型（在DocLayNet基础数据集上按行级微调LiLT基础模型）（准确率 | 标记：85.84% - 行：91.97%）
  • 文档理解模型（在DocLayNet基础数据集上按行级微调LayoutXLM基础模型）（准确率 | 标记：93.73% - 行：...）
• 段落级
  • 文档理解模型（在DocLayNet基础数据集上按段落级微调LiLT基础模型）（准确率 | 标记：86.34% - 段落：68.15%）
  • 文档理解模型（在DocLayNet基础数据集上按段落级微调LayoutXLM基础模型）（准确率 | 标记：96.93% - 段落：86.55%）

📄 许可证

本项目采用MIT许可证。