Matcha Base

🚀 MatCha - ベースモデル

このモデルはMatChaのベースモデルです。ファインチューニング目的でのみ使用できます。

🚀 クイックスタート

TL;DR

論文の概要は以下の通りです。

プロット、チャート、インフォグラフィックなどの視覚言語データは人間の世界では至る所に存在します。しかし、最先端のビジョン言語モデルはこれらのデータではうまく機能しません。私たちはMATCHA（数学的推論とチャートのデレンダリング事前学習）を提案し、チャート/プロットと言語データを共同でモデル化するビジョン言語モデルの能力を強化します。具体的には、視覚言語モデリングにおける重要な能力であるプロットの分解と数値推論をカバーするいくつかの事前学習タスクを提案します。私たちは、最近提案された画像からテキストへのビジョン言語モデルであるPix2Structから始めてMATCHAの事前学習を行います。PlotQAやChartQAなどの標準的なベンチマークでは、MATCHAモデルは最先端の方法を最大で約20％上回っています。また、MATCHAの事前学習がスクリーンショット、教科書の図、文書の図などのドメインにどれだけうまく転移するかを調べ、全体的な改善を観察し、より広範な視覚言語タスクに対するMATCHA事前学習の有用性を検証しました。

💻 使用例

基本的な使用法

from transformers import Pix2StructProcessor, Pix2StructForConditionalGeneration
import requests
from PIL import Image

processor = Pix2StructProcessor.from_pretrained('google/matcha-base')
model = Pix2StructForConditionalGeneration.from_pretrained('google/matcha-base')

url = "https://raw.githubusercontent.com/vis-nlp/ChartQA/main/ChartQA%20Dataset/val/png/20294671002019.png"
image = Image.open(requests.get(url, stream=True).raw)

inputs = processor(images=image, text="Is the sum of all 4 places greater than Laos?", return_tensors="pt")
predictions = model.generate(**inputs, max_new_tokens=512)
print(processor.decode(predictions[0], skip_special_tokens=True))
>>> No

高度な使用法

T5xからHugging Faceへの変換

以下のように、convert_pix2struct_checkpoint_to_pytorch.py スクリプトを使用できます。

python convert_pix2struct_checkpoint_to_pytorch.py --t5x_checkpoint_path PATH_TO_T5X_CHECKPOINTS --pytorch_dump_path PATH_TO_SAVE --is_vqa

大規模モデルを変換する場合は、以下を実行します。

python convert_pix2struct_checkpoint_to_pytorch.py --t5x_checkpoint_path PATH_TO_T5X_CHECKPOINTS --pytorch_dump_path PATH_TO_SAVE --use-large --is_vqa

保存したら、以下のスニペットで変換したモデルをプッシュできます。

from transformers import Pix2StructForConditionalGeneration, Pix2StructProcessor

model = Pix2StructForConditionalGeneration.from_pretrained(PATH_TO_SAVE)
processor = Pix2StructProcessor.from_pretrained(PATH_TO_SAVE)

model.push_to_hub("USERNAME/MODEL_NAME")
processor.push_to_hub("USERNAME/MODEL_NAME")

🤝 貢献

このモデルはもともとFangyu Liu、Francesco Piccinnoらによって貢献され、Younes BelkadaによってHugging Faceエコシステムに追加されました。

📚 引用

この研究を引用する場合は、元の論文を引用してください。

@misc{liu2022matcha,
      title={MatCha: Enhancing Visual Language Pretraining with Math Reasoning and Chart Derendering}, 
      author={Fangyu Liu and Francesco Piccinno and Syrine Krichene and Chenxi Pang and Kenton Lee and Mandar Joshi and Yasemin Altun and Nigel Collier and Julian Martin Eisenschlos},
      year={2022},
      eprint={2212.09662},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

| 属性 | 詳情 |
|------|------|
| 言語 | 英語、フランス語、ルーマニア語、ドイツ語、多言語 |
| 推論 | 否 |
| パイプラインタグ | 視覚的質問応答 |
| ライセンス | Apache-2.0 |
| タグ | matcha |