Layoutlmv3 Base Mpdocvqa

🚀 LayoutLMv3 baseをMP-DocVQAでファインチューニングしたモデル

このモデルは、Microsoft hub の事前学習済みLayoutLMv3を、Multipage DocVQA (MP-DocVQA) データセットでファインチューニングしたものです。

このモデルは、Hierarchical multimodal transformers for Multi-Page DocVQA でベースラインとして使用されました。

• MP-DocVQAデータセットでの結果は表2に報告されています。
• 学習のハイパーパラメータは付録Dの表8に記載されています。

🚀 クイックスタート

このモデルは、Microsoft hub の事前学習済みLayoutLMv3を、Multipage DocVQA (MP-DocVQA) データセットでファインチューニングしたものです。

このモデルは、Hierarchical multimodal transformers for Multi-Page DocVQA でベースラインとして使用されました。

💻 使用例

基本的な使用法

import torch
from transformers import LayoutLMv3Processor, LayoutLMv3ForQuestionAnswering

processor = LayoutLMv3Processor.from_pretrained("rubentito/layoutlmv3-base-mpdocvqa", apply_ocr=False)
model = LayoutLMv3ForQuestionAnswering.from_pretrained("rubentito/layoutlmv3-base-mpdocvqa")

image = Image.open("example.jpg").convert("RGB")
question = "Is this a question?"
context = ["Example"]
boxes = [0, 0, 1000, 1000]  # This is an example bounding box covering the whole image.
document_encoding = processor(image, question, context, boxes=boxes, return_tensors="pt")
outputs = model(**document_encoding)

# Get the answer
start_idx = torch.argmax(outputs.start_logits, axis=1)
end_idx = torch.argmax(outputs.end_logits, axis=1)
answers = self.processor.tokenizer.decode(input_tokens[start_idx: end_idx+1]).strip()

📚 ドキュメント

指標

平均正規化レーベンシュタイン類似度 (ANLS)

テキストベースのVQAタスク (ST-VQAおよびDocVQA) の標準的な指標です。この指標は、手法の推論能力を評価し、OCR認識エラーに対してスムーズにペナルティを与えます。詳細については、Scene Text Visual Question Answering を参照してください。

回答ページ予測精度 (APPA)

MP-DocVQAタスクでは、モデルは質問に対する回答に必要な情報があるページのインデックスを提供できます。このサブタスクでは、予測の精度 (すなわち、予測されたページが正しいかどうか) が評価に使用されます。詳細については、Hierarchical multimodal transformers for Multi-Page DocVQA を参照してください。

モデルの結果

拡張実験の結果は、Hierarchical multimodal transformers for Multi-Page DocVQA の表2に記載されています。また、RRC Portal でライブのリーダーボードを確認することもできます。

引用情報

@article{tito2022hierarchical,
  title={Hierarchical multimodal transformers for Multi-Page DocVQA},
  author={Tito, Rub{\`e}n and Karatzas, Dimosthenis and Valveny, Ernest},
  journal={arXiv preprint arXiv:2212.05935},
  year={2022}
}

情報テーブル

| 属性 | 详情 |
|------|------|
| モデルタイプ | LayoutLMv3 baseをMP-DocVQAでファインチューニングしたモデル |
| 学習データセット | rubentito/mp-docvqa |