Lilt Xlm Roberta Base Finetuned With DocLayNet Base At Linelevel Ml384

🚀 ドキュメント理解モデル (DocLayNet base で行レベルで微調整された LiLT base)

このモデルは、DocLayNet base データセットを使用して、nielsr/lilt-xlm-roberta-base を微調整したバージョンです。評価セットでは以下の結果を達成しています。

🚀 クイックスタート

このモデルは、文書理解タスクにおいて高い精度を発揮します。以下に評価セットでの結果を示します。

• 損失: 1.0003
• 精度 (Precision): 0.8584
• 再現率 (Recall): 0.8584
• F1 スコア: 0.8584
• トークン精度: 0.8584
• 行精度: 0.9197

✨ 主な機能

• 多言語対応: 複数の言語での文書理解に対応しています。
• 高い精度: 評価セットで高い精度を達成しています。
• 行レベルの分析: 行レベルでの文書理解を行うことができます。

📚 ドキュメント

行レベルの精度

• 行精度: 91.97%
• ラベル別精度
  • キャプション: 79.42%
  • 脚注: 68.21%
  • 数式: 98.02%
  • リスト項目: 82.72%
  • ページフッター: 99.17%
  • ページヘッダー: 84.18%
  • 画像: 83.2%
  • セクションヘッダー: 76.92%
  • 表: 97.65%
  • テキスト: 91.17%
  • タイトル: 77.46%

参考文献

ブログ記事

• Layout XLM base
  • (2023年5月3日) Document AI | Inference APP and fine-tuning notebook for Document Understanding at line level with LayoutXLM base
• LiLT base
  • (2023年2月16日) Document AI | Inference APP and fine-tuning notebook for Document Understanding at paragraph level
  • (2023年2月14日) Document AI | Inference APP for Document Understanding at line level
  • (2023年2月10日) Document AI | Document Understanding model at line level with LiLT, Tesseract and DocLayNet dataset
  • (2023年1月31日) Document AI | DocLayNet image viewer APP
  • (2023年1月27日) Document AI | Processing of DocLayNet dataset to be used by layout models of the Hugging Face hub (finetuning, inference)

ノートブック (段落レベル)

• LiLT base
  • Document AI | Inference APP at paragraph level with a Document Understanding model (LiLT fine-tuned on DocLayNet dataset)
  • Document AI | Inference at paragraph level with a Document Understanding model (LiLT fine-tuned on DocLayNet dataset)
  • Document AI | Fine-tune LiLT on DocLayNet base in any language at paragraph level (chunk of 512 tokens with overlap)

ノートブック (行レベル)

• Layout XLM base
  • Document AI | Inference at line level with a Document Understanding model (LayoutXLM base fine-tuned on DocLayNet dataset)
  • Document AI | Inference APP at line level with a Document Understanding model (LayoutXLM base fine-tuned on DocLayNet base dataset)
  • Document AI | Fine-tune LayoutXLM base on DocLayNet base in any language at line level (chunk of 384 tokens with overlap)
• LiLT base
  • Document AI | Inference at line level with a Document Understanding model (LiLT fine-tuned on DocLayNet dataset)
  • Document AI | Inference APP at line level with a Document Understanding model (LiLT fine-tuned on DocLayNet dataset)
  • Document AI | Fine-tune LiLT on DocLayNet base in any language at line level (chunk of 384 tokens with overlap)
  • DocLayNet image viewer APP
  • Processing of DocLayNet dataset to be used by layout models of the Hugging Face hub (finetuning, inference)

APP

このモデルは、Hugging Face Spaces のこのアプリでテストできます: Inference APP for Document Understanding at line level (v1)。

DocLayNet データセット

DocLayNet データセット (IBM) は、6 つの文書カテゴリからの 80863 の一意のページに対して、11 の異なるクラスラベルに対するバウンディングボックスを使用したページごとのレイアウトセグメンテーションの正解データを提供します。

現在まで、このデータセットは直接リンクまたは Hugging Face のデータセットライブラリからダウンロードできます。

• 直接リンク: doclaynet_core.zip (28 GiB), doclaynet_extra.zip (7.5 GiB)
• Hugging Face データセットライブラリ: dataset DocLayNet

論文: DocLayNet: A Large Human-Annotated Dataset for Document-Layout Analysis (2022年6月2日)

モデルの説明

このモデルは、384 トークンのチャンクで 128 トークンのオーバーラップを持つ行レベルで微調整されています。したがって、モデルはデータセットのすべてのページのすべてのレイアウトとテキストデータを使用してトレーニングされました。

推論時には、最適な確率の計算により、各行のバウンディングボックスにラベルが付けられます。

推論

ノートブックを参照してください: Document AI | Inference at line level with a Document Understanding model (LiLT fine-tuned on DocLayNet dataset)

トレーニングと評価データ

ノートブックを参照してください: Document AI | Fine-tune LiLT on DocLayNet base in any language at line level (chunk of 384 tokens with overlap)

トレーニング手順

トレーニングハイパーパラメータ

トレーニング中に以下のハイパーパラメータが使用されました。

• 学習率: 5e-05
• トレーニングバッチサイズ: 8
• 評価バッチサイズ: 16
• シード: 42
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラ: 線形
• エポック数: 5
• 混合精度トレーニング: Native AMP

トレーニング結果

フレームワークのバージョン

• Transformers 4.26.0
• Pytorch 1.13.1+cu116
• Datasets 2.9.0
• Tokenizers 0.13.2

その他のモデル

• 行レベル
  • Document Understanding model (finetuned LiLT base at line level on DocLayNet base) (精度 | トークン: 85.84% - 行: 91.97%)
  • Document Understanding model (finetuned LayoutXLM base at line level on DocLayNet base) (精度 | トークン: 93.73% - 行: ...)
• 段落レベル
  • Document Understanding model (finetuned LiLT base at paragraph level on DocLayNet base) (精度 | トークン: 86.34% - 段落: 68.15%)
  • Document Understanding model (finetuned LayoutXLM base at paragraph level on DocLayNet base) (精度 | トークン: 96.93% - 段落: 86.55%)

📄 ライセンス

このモデルは MIT ライセンスの下で提供されています。