Document Qa Model

🚀 文檔問答模型

這是一個基於layoutlmv3-base的微調文檔問答模型。它經過訓練，能夠利用OCR數據（通過PaddleOCR）理解文檔，並準確回答與文檔佈局中的結構化信息相關的問題。

🚀 快速開始

本模型可直接用於對文檔圖像（如PDF、發票、水電費賬單）進行問答，以及利用OCR和佈局感知理解進行信息提取任務。

✨ 主要特性

• 基於layoutlmv3-base進行微調，能夠理解文檔並回答相關問題。
• 支持多種語言，包括英語、西班牙語、法語、德語和意大利語。
• 利用OCR數據（PaddleOCR）和佈局感知理解，準確回答結構化信息問題。

📚 詳細文檔

模型詳情

模型來源

• 倉庫：Github鏈接
• 訓練數據集：nielsr/docvqa_1200_examples的改編版本
• 模型指標：查看

使用場景

直接使用

本模型可用於以下場景：

• 對文檔圖像（PDF、發票、水電費賬單）進行問答。
• 利用OCR和佈局感知理解進行信息提取任務。

不適用場景

• 不適用於對話式問答。
• 不適用於沒有經過OCR處理文本的圖像。

訓練詳情

數據集

數據集包含：

• 水電費賬單和文檔的圖像。
• 帶有邊界框的OCR數據（來自PaddleOCR）。
• 英語、西班牙語和中文的查詢。
• 帶有匹配分數和位置的答案範圍。

訓練過程

• 預處理：使用PaddleOCR提取標記、位置和結構。
• 模型：LayoutLMv3 - base
• 訓練輪數：4
• 學習率調度：見下圖

訓練指標

• F1分數（驗證集）：
• 損失和學習率圖表：

評估

使用的指標

• F1分數
• 預測範圍的匹配分數
• 與真實值的標記重疊

總結

該模型在文檔式問答任務中表現良好，尤其適用於以下情況：

• OCR結果結構清晰。
• 文檔類型類似於水電費賬單、發票和表單。

使用方法

本模型可在我的Github上獲取。

📄 許可證

本模型使用Apache - 2.0許可證（繼承自基礎模型）。