Document Qa Model

🚀 ドキュメントQAモデル

これは、layoutlmv3-baseをベースに微調整されたドキュメント質問応答モデルです。OCRデータ（PaddleOCR経由）を使用してドキュメントを理解し、ドキュメントレイアウト内の構造化情報に関連する質問に正確に回答するように訓練されています。

✨ 主な機能

このモデルは、以下の用途に使用できます。

• ドキュメント画像（PDF、請求書、公共料金請求書など）の質問応答
• OCRとレイアウト認識を利用した情報抽出タスク

📦 インストール

このモデルは、Githubで利用可能です。

📚 ドキュメント

モデル詳細

モデル説明

モデルソース

• リポジトリ：Github Link
• 訓練データセット：nielsr/docvqa_1200_examplesの適応版
• モデルメトリクス：を参照

使用範囲

直接使用

このモデルは、以下の用途に使用できます。

• ドキュメント画像（PDF、請求書、公共料金請求書）の質問応答
• OCRとレイアウト認識を利用した情報抽出タスク

適用外の使用

• 会話型QAには適していません
• OCR処理されたテキストのない画像には適していません

訓練詳細

データセット

データセットは以下で構成されています。

• 公共料金請求書やドキュメントの画像
• バウンディングボックス付きのOCRデータ（PaddleOCRから）
• 英語、スペイン語、中国語のクエリ
• 一致スコアと位置を持つ回答範囲

訓練手順

• 前処理：PaddleOCRを使用してトークン、位置、構造を抽出
• モデル：LayoutLMv3 - base
• エポック数：4
• 学習率スケジュール：下の画像に示されています

訓練メトリクス

• F1スコア（検証）：
• 損失と学習率のグラフ：

評価

使用されたメトリクス

• F1スコア
• 予測された範囲の一致スコア
• トークンの重複と正解データの比較

概要

このモデルは、ドキュメント形式のQAタスクで良好な性能を発揮します。特に以下の場合に有効です。

• 明確に構造化されたOCR結果
• 公共料金請求書、請求書、フォームなどに似たドキュメントタイプ

📄 ライセンス

このモデルは、Apache - 2.0ライセンスの下で提供されています。