Layout Xlm Base Finetuned With DocLayNet Base At Paragraphlevel Ml512

🚀 ドキュメント理解モデル (DocLayNet base の段落レベルでファインチューニングされた LayoutXLM base)

このモデルは、microsoft/layoutxlm-base を DocLayNet base データセットでファインチューニングしたバージョンです。 評価セットでは、以下の結果を達成しています。

• 損失: 0.1796
• 精度: 0.8062
• 再現率: 0.7441
• F1: 0.7739
• トークン精度: 0.9693
• 段落精度: 0.8655

✨ 主な機能

段落レベルの精度

• 段落精度: 86.55%
• ラベル別の精度
  • キャプション: 63.76%
  • 脚注: 31.91%
  • 数式: 95.33%
  • リスト項目: 79.31%
  • ページフッター: 99.51%
  • ページヘッダー: 88.75%
  • 画像: 90.91%
  • セクションヘッダー: 83.16%
  • 表: 68.25%
  • テキスト: 91.37%
  • タイトル: 50.0%

📚 詳細ドキュメント

参考記事

• Layout XLM base
  • (2023年3月31日) Document AI | Inference APP and fine-tuning notebook for Document Understanding at paragraph level with LayoutXLM base
  • (2023年3月25日) Document AI | APP to compare the Document Understanding LiLT and LayoutXLM (base) models at line level
  • (2023年3月5日) Document AI | Inference APP and fine-tuning notebook for Document Understanding at line level with LayoutXLM base
• LiLT base - (2023年2月16日) Document AI | Inference APP and fine-tuning notebook for Document Understanding at paragraph level - (2023年2月14日) Document AI | Inference APP for Document Understanding at line level - (2023年2月10日) Document AI | Document Understanding model at line level with LiLT, Tesseract and DocLayNet dataset - (2023年1月31日) Document AI | DocLayNet image viewer APP - (2023年1月27日) Document AI | Processing of DocLayNet dataset to be used by layout models of the Hugging Face hub (finetuning, inference)

ノートブック (段落レベル)

• Layout XLM base
  • Document AI | Inference at paragraph level with a Document Understanding model (LayoutXLM base fine-tuned on DocLayNet dataset)
  • Document AI | Inference APP at paragraph level with a Document Understanding model (LayoutXLM base fine-tuned on DocLayNet base dataset)
  • Document AI | Fine-tune LayoutXLM base on DocLayNet base in any language at paragraph level (chunk of 512 tokens with overlap)
• LiLT base
  • Document AI | Inference APP at paragraph level with a Document Understanding model (LiLT fine-tuned on DocLayNet dataset)
  • Document AI | Inference at paragraph level with a Document Understanding model (LiLT fine-tuned on DocLayNet dataset)
  • Document AI | Fine-tune LiLT on DocLayNet base in any language at paragraph level (chunk of 512 tokens with overlap)

ノートブック (行レベル)

• Layout XLM base
  • Document AI | Inference APP at line level with 2 Document Understanding models (LiLT and LayoutXLM base fine-tuned on DocLayNet base dataset)
  • Document AI | Inference at line level with a Document Understanding model (LayoutXLM base fine-tuned on DocLayNet dataset)
  • Document AI | Inference APP at line level with a Document Understanding model (LayoutXLM base fine-tuned on DocLayNet base dataset)
  • Document AI | Fine-tune LayoutXLM base on DocLayNet base in any language at line level (chunk of 384 tokens with overlap)
• LiLT base
  • Document AI | Inference at line level with a Document Understanding model (LiLT fine-tuned on DocLayNet dataset)
  • Document AI | Inference APP at line level with a Document Understanding model (LiLT fine-tuned on DocLayNet dataset)
  • Document AI | Fine-tune LiLT on DocLayNet base in any language at line level (chunk of 384 tokens with overlap)
  • DocLayNet image viewer APP
  • Processing of DocLayNet dataset to be used by layout models of the Hugging Face hub (finetuning, inference)

APP

このモデルは、Hugging Face Spaces のこのアプリでテストできます: Inference APP for Document Understanding at paragraph level (v2)。

また、対応するノートブックも実行できます: Document AI | Inference APP at paragraph level with a Document Understanding model (LayoutXLM base fine-tuned on DocLayNet dataset)

DocLayNet データセット

DocLayNet データセット (IBM) は、6つのドキュメントカテゴリの80863ページのユニークなページに対して、11の異なるクラスラベルのバウンディングボックスを使用したページ単位のレイアウトセグメンテーションの正解データを提供します。

現在、このデータセットは、直接リンクまたはHugging Faceのデータセットライブラリからダウンロードできます。

• 直接リンク: doclaynet_core.zip (28 GiB), doclaynet_extra.zip (7.5 GiB)
• Hugging Face データセットライブラリ: dataset DocLayNet

論文: DocLayNet: A Large Human-Annotated Dataset for Document-Layout Analysis (2022年6月2日)

モデルの説明

このモデルは、512トークンのチャンクで、128トークンのオーバーラップを持つ段落レベルでファインチューニングされています。したがって、モデルはデータセットのすべてのページのレイアウトとテキストデータを使用してトレーニングされています。

推論時には、最適な確率の計算により、各段落のバウンディングボックスにラベルが付けられます。

推論

ノートブックを参照してください: Document AI | Inference at paragraph level with a Document Understanding model (LayoutXLM base fine-tuned on DocLayNet dataset)

トレーニングと評価データ

ノートブックを参照してください: Document AI | Fine-tune LayoutXLM base on DocLayNet base in any language at paragraph level (chunk of 512 tokens with overlap)

🔧 技術詳細

トレーニングのハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 2e-05
• トレーニングバッチサイズ: 8
• 評価バッチサイズ: 16
• シード: 42
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラのタイプ: 線形
• 学習率スケジューラのウォームアップ率: 0.1
• エポック数: 4
• 混合精度トレーニング: Native AMP

トレーニング結果

フレームワークのバージョン

• Transformers 4.27.3
• Pytorch 1.10.0+cu111
• Datasets 2.10.1
• Tokenizers 0.13.2

その他のモデル

• 行レベル
  • [Document Understanding model (finetuned LiLT base at line level on DocLayNet base)](https://huggingface.co/pierreguillou/lilt-xlm-roberta-base-finetuned-with-DocLayNet-base-at-line

📄 ライセンス

このモデルは、MITライセンスの下で提供されています。