Layout Xlm Base Finetuned With DocLayNet Base At Linelevel Ml384

🚀 ドキュメント理解モデル (DocLayNet baseで行レベルで微調整されたLayoutXLM base)

このモデルは、DocLayNet baseデータセットを使用して、microsoft/layoutxlm-baseを微調整したバージョンです。 評価セットでは、以下の結果を達成しています。

• 損失: 0.2364
• 精度: 0.7260
• 再現率: 0.7415
• F1: 0.7336
• 正解率: 0.9373

✨ 主な機能

このモデルは、文書理解タスクに特化しており、行レベルでのトークン分類に適しています。DocLayNet baseデータセットを用いて微調整されているため、様々な文書カテゴリに対応しています。

📚 ドキュメント

参考資料

ブログ記事

• Layout XLM base
  • (2023年5月3日) Document AI | Inference APP and fine-tuning notebook for Document Understanding at line level with LayoutXLM base
• LiLT base
  • (2023年2月16日) Document AI | Inference APP and fine-tuning notebook for Document Understanding at paragraph level
  • (2023年2月14日) Document AI | Inference APP for Document Understanding at line level
  • (2023年2月10日) Document AI | Document Understanding model at line level with LiLT, Tesseract and DocLayNet dataset
  • (2023年1月31日) Document AI | DocLayNet image viewer APP
  • (2023年1月27日) Document AI | Processing of DocLayNet dataset to be used by layout models of the Hugging Face hub (finetuning, inference)

ノートブック (段落レベル)

• LiLT base
  • Document AI | Inference APP at paragraph level with a Document Understanding model (LiLT fine-tuned on DocLayNet dataset)
  • Document AI | Inference at paragraph level with a Document Understanding model (LiLT fine-tuned on DocLayNet dataset)
  • Document AI | Fine-tune LiLT on DocLayNet base in any language at paragraph level (chunk of 512 tokens with overlap)

ノートブック (行レベル)

• Layout XLM base
  • Document AI | Inference at line level with a Document Understanding model (LayoutXLM base fine-tuned on DocLayNet dataset)
  • Document AI | Inference APP at line level with a Document Understanding model (LayoutXLM base fine-tuned on DocLayNet base dataset)
  • Document AI | Fine-tune LayoutXLM base on DocLayNet base in any language at line level (chunk of 384 tokens with overlap)
• LiLT base
  • Document AI | Inference at line level with a Document Understanding model (LiLT fine-tuned on DocLayNet dataset)
  • Document AI | Inference APP at line level with a Document Understanding model (LiLT fine-tuned on DocLayNet dataset)
  • Document AI | Fine-tune LiLT on DocLayNet base in any language at line level (chunk of 384 tokens with overlap)
  • DocLayNet image viewer APP
  • Processing of DocLayNet dataset to be used by layout models of the Hugging Face hub (finetuning, inference)

アプリケーション

このモデルは、Hugging Face Spacesのこのアプリでテストできます: Inference APP for Document Understanding at line level (v2)。

DocLayNetデータセット

DocLayNet dataset (IBM) は、6つの文書カテゴリからの80863の一意のページに対して、11の異なるクラスラベルのバウンディングボックスを使用したページごとのレイアウトセグメンテーションの正解データを提供します。

現在まで、このデータセットは直接リンクまたはHugging Faceのデータセットライブラリからダウンロードできます:

• 直接リンク: doclaynet_core.zip (28 GiB), doclaynet_extra.zip (7.5 GiB)
• Hugging Faceデータセットライブラリ: dataset DocLayNet

論文: DocLayNet: A Large Human-Annotated Dataset for Document-Layout Analysis (2022年6月2日)

モデルの説明

このモデルは、384トークンのチャンクで、128トークンのオーバーラップを持つ行レベルで微調整されています。したがって、モデルはデータセットのすべてのページのすべてのレイアウトとテキストデータを使用してトレーニングされています。

推論時には、最適な確率の計算により、各行のバウンディングボックスにラベルが付けられます。

推論

ノートブックを参照してください: Document AI | Inference at line level with a Document Understanding model (LayoutXLM base fine-tuned on DocLayNet dataset)

トレーニングと評価データ

ノートブックを参照してください: Document AI | Fine-tune LayoutXLM base on DocLayNet base in any language at line level (chunk of 384 tokens with overlap)

トレーニング手順

トレーニングハイパーパラメータ

トレーニング中に以下のハイパーパラメータが使用されました:

• 学習率: 2e-05
• トレーニングバッチサイズ: 8
• 評価バッチサイズ: 16
• シード: 42
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラの種類: 線形
• 学習率スケジューラのウォームアップ比率: 0.1
• エポック数: 3
• 混合精度トレーニング: Native AMP

トレーニング結果

フレームワークのバージョン

• Transformers 4.26.1
• Pytorch 1.10.0+cu111
• Datasets 2.10.1
• Tokenizers 0.13.2

その他のモデル

• 行レベル
  • Document Understanding model (finetuned LiLT base at line level on DocLayNet base) (正解率 | トークン: 85.84% - 行: 91.97%)
  • Document Understanding model (finetuned LayoutXLM base at line level on DocLayNet base) (正解率 | トークン: 93.73% - 行: ...)
• 段落レベル
  • Document Understanding model (finetuned LiLT base at paragraph level on DocLayNet base) (正解率 | トークン: 86.34% - 段落: 68.15%)
  • Document Understanding model (finetuned LayoutXLM base at paragraph level on DocLayNet base) (正解率 | トークン: 96.93% - 段落: 86.55%)

📄 ライセンス

このモデルはMITライセンスの下で提供されています。