Matcha Plotqa V1

🚀 MatCha - PlotQA-v1データセットでファインチューニングされたモデルカード

このモデルは、PlotQA-v1データセットでファインチューニングされたMatChaモデルです。このファインチューニングされたチェックポイントは、グラフに関する質問応答タスクにより適している可能性があります。

📚 目次

0. 要約
1. モデルの使用方法
2. コントリビューション
3. 引用

📖 要約

論文の概要は以下の通りです。

グラフ、チャート、インフォグラフィックなどの視覚言語データは、人間の世界では至る所に存在します。しかし、最先端のビジョン言語モデルはこれらのデータに対してうまく機能しません。我々は、チャート/グラフと言語データを共同でモデリングするビジョン言語モデルの能力を強化するために、MATCHA（数学的推論とチャートの逆レンダリングの事前学習）を提案します。具体的には、ビジョン言語モデリングにおける重要な能力であるグラフの分解と数値推論をカバーするいくつかの事前学習タスクを提案します。我々は、最近提案された画像からテキストへのビジョン言語モデルであるPix2Structから始めて、MATCHAの事前学習を行います。PlotQAやChartQAなどの標準的なベンチマークでは、MATCHAモデルは最先端の手法を最大で約20％上回っています。また、MATCHAの事前学習がスクリーンショット、教科書の図、文書の図などのドメインにどれだけ転移するかを調べ、全体的な改善を観察し、MATCHAの事前学習がより広範なビジョン言語タスクに有用であることを検証しています。

💻 モデルの使用方法

T5xからHugging Faceへの変換

以下のように、convert_pix2struct_checkpoint_to_pytorch.pyスクリプトを使用できます。

python convert_pix2struct_checkpoint_to_pytorch.py --t5x_checkpoint_path PATH_TO_T5X_CHECKPOINTS --pytorch_dump_path PATH_TO_SAVE --is_vqa

大規模なモデルを変換する場合は、以下を実行します。

python convert_pix2struct_checkpoint_to_pytorch.py --t5x_checkpoint_path PATH_TO_T5X_CHECKPOINTS --pytorch_dump_path PATH_TO_SAVE --use-large --is_vqa

保存したら、以下のコードスニペットで変換したモデルをプッシュできます。

from transformers import Pix2StructForConditionalGeneration, Pix2StructProcessor

model = Pix2StructForConditionalGeneration.from_pretrained(PATH_TO_SAVE)
processor = Pix2StructProcessor.from_pretrained(PATH_TO_SAVE)

model.push_to_hub("USERNAME/MODEL_NAME")
processor.push_to_hub("USERNAME/MODEL_NAME")

予測の実行

予測を実行するには、matcha-chartqaモデルカードに記載されている手順を参照してください。

👥 コントリビューション

このモデルは、もともとLiu Fangyu、Francesco Piccinnoらによって貢献され、Younes BelkadaによってHugging Faceエコシステムに追加されました。

📄 引用

この研究を引用する場合は、元の論文を引用してください。

@misc{liu2022matcha,
      title={MatCha: Enhancing Visual Language Pretraining with Math Reasoning and Chart Derendering}, 
      author={Fangyu Liu and Francesco Piccinno and Syrine Krichene and Chenxi Pang and Kenton Lee and Mandar Joshi and Yasemin Altun and Nigel Collier and Julian Martin Eisenschlos},
      year={2022},
      eprint={2212.09662},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。