Dmr Invoice Extractor

🚀 Donut在發票數據上微調模型

本項目基於Donut基礎模型進行微調，該基礎模型由Geewok等人在論文OCR-free Document Understanding Transformer中提出，並首次發佈於此倉庫。本微調模型旨在解決發票等文檔的圖像到文本轉換問題，能夠準確識別發票中的關鍵信息，具有較高的實用價值。

✨ 主要特性

• 基於Donut基礎模型，結合數千張標註的發票和非發票數據進行微調，數據涵蓋不同國家和語言。
• 模型輸入分辨率設定為1280x1920像素，對於dpi高於150的樣本，更高的dpi不會帶來額外價值。
• 在NVIDIA RTX A4000上訓練約4小時，共20k步，最終驗證指標為0.03413819904382196。
• 訓練集中包含了多種關鍵索引，如DocType、Currency、DocumentDate等。

📚 詳細文檔

模型描述

Donut由視覺編碼器（Swin Transformer）和文本解碼器（BART）組成。給定一張圖像，編碼器首先將圖像編碼為嵌入張量（形狀為batch_size, seq_len, hidden_size），然後解碼器根據編碼器的編碼自迴歸地生成文本。

使用方法

查看文檔，其中包含代碼示例。

📄 許可證

本模型採用CC BY-NC-SA 4.0許可證。