Donut Base Finetuned Invoices

🚀 請求書に対してファインチューニングされたDonut

このモデルは、多言語の請求書に対する性能を研究するために開発されました。

このモデルは、Donutベースモデルをベースにしています。Donutベースモデルは、Geewokらによる論文 OCR-free Document Understanding Transformer で紹介され、このリポジトリ で最初に公開されました。

このモデルは、数千枚の注釈付きの請求書と非請求書（ドキュメントタイプは'Other'）を使って学習されました。これらのデータは、さまざまな国や言語にまたがっており、常に1ページのみです。残念ながら、データセットは独自のものです。モデルの入力解像度は1280x1920ピクセルに設定されています。したがって、150dpiより高いdpiのサンプルを試すことには追加の価値はありません。

このモデルは、NVIDIA RTX A4000で約4時間、20kステップで学習され、最後のval_metricは0.03413819904382196でした。学習セットに含まれるインデックスは以下の通りです。

• DocType
• Currency
• DocumentDate
• GrossAmount
• InvoiceNumber
• NetAmount
• TaxAmount
• OrderNumber
• CreditorCountry

デモスペースはこちら

📚 ドキュメント

モデルの説明

Donutは、ビジョンエンコーダ（Swin Transformer）とテキストデコーダ（BART）で構成されています。画像が与えられると、エンコーダはまず画像を埋め込みのテンソル（形状はbatch_size, seq_len, hidden_size）にエンコードし、その後デコーダはエンコーダのエンコード結果を条件として、自己回帰的にテキストを生成します。

想定される用途と制限

このモデルは、多言語の請求書に対する性能を研究するためのものです。デモスペース で私の観察結果を確認できます。

使い方

コード例を含む ドキュメント を参照してください。

📄 ライセンス

このモデルはCC BY-NC-SA 4.0ライセンスの下で提供されています。