Lilt Xlm Roberta Base Finetuned With DocLayNet Base At Paragraphlevel Ml512

🚀 文書理解モデル (DocLayNet baseで段落レベルで微調整されたLiLT base)

このモデルは、nielsr/lilt-xlm-roberta-base を DocLayNet base データセットで微調整したものです。評価セットでは以下の結果を達成しています。

🚀 クイックスタート

このモデルは文書理解タスクに特化しており、段落レベルでの解析に適しています。以下に、このモデルの概要と使い方を説明します。

評価セットでの結果

• 損失: 0.4104
• 適合率: 0.8634
• 再現率: 0.8634
• F1値: 0.8634
• トークン精度: 0.8634
• 段落精度: 0.6815

段落レベルでの精度

• 段落精度: 68.15%
• ラベル別精度
  • キャプション: 22.82%
  • 脚注: 0.0%
  • 数式: 97.33%
  • リスト項目: 8.42%
  • ページフッター: 98.77%
  • ページヘッダー: 77.81%
  • 画像: 39.16%
  • セクションヘッダー: 76.17%
  • 表: 37.7%
  • テキスト: 86.78%
  • タイトル: 0.0%

✨ 主な機能

• 文書の段落レベルでのレイアウトセグメンテーションを行います。
• 複数の言語に対応しており、多言語文書の解析が可能です。
• 高精度なトークン分類と段落精度を実現しています。

📚 ドキュメント

参考文献

ブログ記事

• Layout XLM base
  • (2023年05月03日) Document AI | Inference APP and fine-tuning notebook for Document Understanding at line level with LayoutXLM base
• LiLT base
  • (2023年02月16日) Document AI | Inference APP and fine-tuning notebook for Document Understanding at paragraph level
  • (2023年02月14日) Document AI | Inference APP for Document Understanding at line level
  • (2023年02月10日) Document AI | Document Understanding model at line level with LiLT, Tesseract and DocLayNet dataset
  • (2023年01月31日) Document AI | DocLayNet image viewer APP
  • (2023年01月27日) Document AI | Processing of DocLayNet dataset to be used by layout models of the Hugging Face hub (finetuning, inference)

ノートブック (段落レベル)

• LiLT base
  • Document AI | Inference APP at paragraph level with a Document Understanding model (LiLT fine-tuned on DocLayNet dataset)
  • Document AI | Inference at paragraph level with a Document Understanding model (LiLT fine-tuned on DocLayNet dataset)
  • Document AI | Fine-tune LiLT on DocLayNet base in any language at paragraph level (chunk of 512 tokens with overlap)

ノートブック (行レベル)

• Layout XLM base
  • Document AI | Inference at line level with a Document Understanding model (LayoutXLM base fine-tuned on DocLayNet dataset)
  • Document AI | Inference APP at line level with a Document Understanding model (LayoutXLM base fine-tuned on DocLayNet base dataset)
  • Document AI | Fine-tune LayoutXLM base on DocLayNet base in any language at line level (chunk of 384 tokens with overlap)
• LiLT base
  • Document AI | Inference at line level with a Document Understanding model (LiLT fine-tuned on DocLayNet dataset)
  • Document AI | Inference APP at line level with a Document Understanding model (LiLT fine-tuned on DocLayNet dataset)
  • Document AI | Fine-tune LiLT on DocLayNet base in any language at line level (chunk of 384 tokens with overlap)
  • DocLayNet image viewer APP
  • Processing of DocLayNet dataset to be used by layout models of the Hugging Face hub (finetuning, inference)

アプリケーション

このモデルは、Hugging Face Spacesの以下のアプリでテストできます。 Inference APP for Document Understanding at paragraph level (v1)

また、対応するノートブックも実行できます。 Document AI | Inference APP at paragraph level with a Document Understanding model (LiLT fine-tuned on DocLayNet dataset)

DocLayNetデータセット

DocLayNetデータセット (IBM) は、6つの文書カテゴリの80863ページのユニークなページに対して、11種類のクラスラベルのバウンディングボックスを使用したページ単位のレイアウトセグメンテーションの正解データを提供します。

現在、このデータセットは直接リンクまたはHugging Faceのデータセットライブラリからダウンロードできます。

• 直接リンク: doclaynet_core.zip (28 GiB), doclaynet_extra.zip (7.5 GiB)
• Hugging Faceデータセットライブラリ: dataset DocLayNet

論文: DocLayNet: A Large Human-Annotated Dataset for Document-Layout Analysis (2022年06月02日)

モデルの説明

このモデルは、512トークンのチャンクで128トークンのオーバーラップを持つ段落レベルで微調整されています。したがって、モデルはデータセットのすべてのページのレイアウトとテキストデータを使用してトレーニングされています。

推論時には、最適な確率の計算により、各段落のバウンディングボックスにラベルが付けられます。

推論

ノートブックを参照してください。 Document AI | Inference at paragraph level with a Document Understanding model (LiLT fine-tuned on DocLayNet dataset)

トレーニングと評価データ

ノートブックを参照してください。 Document AI | Fine-tune LiLT on DocLayNet base in any language at paragraph level (chunk of 512 tokens with overlap)

トレーニング手順

トレーニングハイパーパラメータ

トレーニング中に以下のハイパーパラメータが使用されました。

• 学習率: 2e-05
• トレーニングバッチサイズ: 8
• 評価バッチサイズ: 16
• シード: 42
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラタイプ: 線形
• エポック数: 1
• 混合精度トレーニング: Native AMP

トレーニング結果

フレームワークバージョン

• Transformers 4.26.1
• Pytorch 1.13.1+cu116
• Datasets 2.9.0
• Tokenizers 0.13.2

その他のモデル

行レベル

• Document Understanding model (finetuned LiLT base at line level on DocLayNet base) (精度 | トークン: 85.84% - 行: 91.97%)
• Document Understanding model (finetuned LayoutXLM base at line level on DocLayNet base) (精度 | トークン: 93.73% - 行: ...)

段落レベル

• Document Understanding model (finetuned LiLT base at paragraph level on DocLayNet base) (精度 | トークン: 86.34% - 段落: 68.15%)
• Document Understanding model (finetuned LayoutXLM base at paragraph level on DocLayNet base) (精度 | トークン: 96.93% - 段落: 86.55%)

📄 ライセンス

このモデルはMITライセンスの下で提供されています。