Document Qa Model

🚀 文档问答模型

这是一个基于layoutlmv3-base的微调文档问答模型。它经过训练，能够利用OCR数据（通过PaddleOCR）理解文档，并准确回答与文档布局中的结构化信息相关的问题。

🚀 快速开始

本模型可直接用于对文档图像（如PDF、发票、水电费账单）进行问答，以及利用OCR和布局感知理解进行信息提取任务。

✨ 主要特性

• 基于layoutlmv3-base进行微调，能够理解文档并回答相关问题。
• 支持多种语言，包括英语、西班牙语、法语、德语和意大利语。
• 利用OCR数据（PaddleOCR）和布局感知理解，准确回答结构化信息问题。

📚 详细文档

模型详情

模型来源

• 仓库：Github链接
• 训练数据集：nielsr/docvqa_1200_examples的改编版本
• 模型指标：查看

使用场景

直接使用

本模型可用于以下场景：

• 对文档图像（PDF、发票、水电费账单）进行问答。
• 利用OCR和布局感知理解进行信息提取任务。

不适用场景

• 不适用于对话式问答。
• 不适用于没有经过OCR处理文本的图像。

训练详情

数据集

数据集包含：

• 水电费账单和文档的图像。
• 带有边界框的OCR数据（来自PaddleOCR）。
• 英语、西班牙语和中文的查询。
• 带有匹配分数和位置的答案范围。

训练过程

• 预处理：使用PaddleOCR提取标记、位置和结构。
• 模型：LayoutLMv3 - base
• 训练轮数：4
• 学习率调度：见下图

训练指标

• F1分数（验证集）：
• 损失和学习率图表：

评估

使用的指标

• F1分数
• 预测范围的匹配分数
• 与真实值的标记重叠

总结

该模型在文档式问答任务中表现良好，尤其适用于以下情况：

• OCR结果结构清晰。
• 文档类型类似于水电费账单、发票和表单。

使用方法

本模型可在我的Github上获取。

📄 许可证

本模型使用Apache - 2.0许可证（继承自基础模型）。