Donut Base Finetuned Invoices

🚀 發票微調版Donut模型

該項目基於Donut基礎模型，用於多語言發票信息提取，能有效識別發票關鍵信息，具有一定的研究價值。

🚀 快速開始

本模型基於Donut基礎模型（由Geewok等人在論文 OCR-free Document Understanding Transformer 中提出，並首次在 此倉庫 發佈）。

模型使用數千張帶註釋的發票和非發票數據進行訓練（非發票的文檔類型標記為 'Other'）。這些數據來自不同國家和語言，且均為單頁文檔。遺憾的是，該數據集為專有數據。模型的輸入分辨率設置為1280x1920像素，因此嘗試使用高於150 dpi的樣本並無額外價值。

模型在NVIDIA RTX A4000上訓練了約4小時，共進行20000步訓練，最終驗證指標為0.03413819904382196。訓練集包含以下索引信息：

• DocType
• Currency
• DocumentDate
• GrossAmount
• InvoiceNumber
• NetAmount
• TaxAmount
• OrderNumber
• CreditorCountry

點擊此處查看演示空間

✨ 主要特性

• 多語言支持：可處理不同國家和語言的發票數據。
• 特定輸入分辨率：輸入分辨率為1280x1920像素，優化處理效果。

📚 詳細文檔

模型描述

Donut由視覺編碼器（Swin Transformer）和文本解碼器（BART）組成。給定一張圖像，編碼器首先將圖像編碼為嵌入張量（形狀為batch_size, seq_len, hidden_size），然後解碼器在編碼器編碼的基礎上自迴歸生成文本。

預期用途和侷限性

本模型旨在研究其在多語言發票處理方面的表現。你可以在 演示空間 查看相關觀察結果。

使用方法

請參考 文檔，其中包含代碼示例。

📄 許可證

本項目採用CC BY-NC-SA 4.0許可證。