Dmr Invoice Extractor

🚀 請求書にファインチューニングされたDonut

このモデルは、請求書の情報抽出を目的としてDonutベースモデルをファインチューニングしたものです。Donutベースモデルは、Geewokらによる論文 OCR-free Document Understanding Transformer で導入され、このリポジトリ で最初に公開されました。

このモデルは、数千枚の注釈付き請求書と非請求書（これらのドキュメントタイプは 'Other' となります）を用いて学習されています。これらのデータは様々な国や言語にまたがり、常に1ページのみで構成されています。残念ながら、データセットは独自のものです。モデルの入力解像度は1280x1920ピクセルに設定されているため、150dpiより高い解像度のサンプルを試すことには追加の価値はありません。

このモデルは、NVIDIA RTX A4000で約4時間、20kステップ学習され、最終的な検証指標（val_metric）は0.03413819904382196でした。学習セットには以下のインデックスが含まれています：

• ドキュメントタイプ
• 通貨
• 文書日付
• 総額
• 請求書番号
• 税抜き額
• 税額
• 注文番号
• 債権者国

📚 ドキュメント

モデルの説明

Donutは、ビジョンエンコーダ（Swin Transformer）とテキストデコーダ（BART）で構成されています。画像が入力されると、エンコーダはまず画像を埋め込みのテンソル（形状は batch_size, seq_len, hidden_size）にエンコードし、その後デコーダはエンコーダのエンコーディングを条件として、自己回帰的にテキストを生成します。

使い方

コード例を含む ドキュメント を参照してください。

📄 ライセンス

このモデルは、CC BY-NC-SA 4.0ライセンスの下で提供されています。