Donut Base Finetuned Invoices

🚀 发票微调版Donut模型

该项目基于Donut基础模型，用于多语言发票信息提取，能有效识别发票关键信息，具有一定的研究价值。

🚀 快速开始

本模型基于Donut基础模型（由Geewok等人在论文 OCR-free Document Understanding Transformer 中提出，并首次在 此仓库 发布）。

模型使用数千张带注释的发票和非发票数据进行训练（非发票的文档类型标记为 'Other'）。这些数据来自不同国家和语言，且均为单页文档。遗憾的是，该数据集为专有数据。模型的输入分辨率设置为1280x1920像素，因此尝试使用高于150 dpi的样本并无额外价值。

模型在NVIDIA RTX A4000上训练了约4小时，共进行20000步训练，最终验证指标为0.03413819904382196。训练集包含以下索引信息：

• DocType
• Currency
• DocumentDate
• GrossAmount
• InvoiceNumber
• NetAmount
• TaxAmount
• OrderNumber
• CreditorCountry

点击此处查看演示空间

✨ 主要特性

• 多语言支持：可处理不同国家和语言的发票数据。
• 特定输入分辨率：输入分辨率为1280x1920像素，优化处理效果。

📚 详细文档

模型描述

Donut由视觉编码器（Swin Transformer）和文本解码器（BART）组成。给定一张图像，编码器首先将图像编码为嵌入张量（形状为batch_size, seq_len, hidden_size），然后解码器在编码器编码的基础上自回归生成文本。

预期用途和局限性

本模型旨在研究其在多语言发票处理方面的表现。你可以在 演示空间 查看相关观察结果。

使用方法

请参考 文档，其中包含代码示例。

📄 许可证

本项目采用CC BY-NC-SA 4.0许可证。