Matcha Plotqa V1

🚀 MatCha - 在PlotQA - v1数据集上微调的模型卡片

MatCha是一个经过微调的模型，在PlotQA - v1数据集上进行了优化。这个微调后的检查点可能更适合图表问答任务，能为视觉语言数据的处理带来更出色的效果。

🚀 快速开始

从T5x转换到Hugging Face

你可以使用convert_pix2struct_checkpoint_to_pytorch.py脚本进行转换，如下所示：

python convert_pix2struct_checkpoint_to_pytorch.py --t5x_checkpoint_path PATH_TO_T5X_CHECKPOINTS --pytorch_dump_path PATH_TO_SAVE --is_vqa

如果你要转换一个大模型，请运行：

python convert_pix2struct_checkpoint_to_pytorch.py --t5x_checkpoint_path PATH_TO_T5X_CHECKPOINTS --pytorch_dump_path PATH_TO_SAVE --use-large --is_vqa

保存后，你可以使用以下代码片段将转换后的模型推送到Hugging Face Hub：

from transformers import Pix2StructForConditionalGeneration, Pix2StructProcessor

model = Pix2StructForConditionalGeneration.from_pretrained(PATH_TO_SAVE)
processor = Pix2StructProcessor.from_pretrained(PATH_TO_SAVE)

model.push_to_hub("USERNAME/MODEL_NAME")
processor.push_to_hub("USERNAME/MODEL_NAME")

运行预测

要运行预测，请参考matcha - chartqa模型卡片中的说明。

✨ 主要特性

论文摘要指出：

图表、图形和信息图等视觉语言数据在人类世界中无处不在。然而，最先进的视觉语言模型在处理这些数据时表现不佳。我们提出了MATCHA（数学推理和图表反渲染预训练），以增强视觉语言模型对图表和语言数据进行联合建模的能力。具体来说，我们提出了几个预训练任务，涵盖了图表解构和数值推理，这些是视觉语言建模中的关键能力。我们从最近提出的图像到文本视觉语言模型Pix2Struct开始进行MATCHA预训练。在PlotQA和ChartQA等标准基准测试中，MATCHA模型比最先进的方法高出近20%。我们还研究了MATCHA预训练在截图、教科书图表和文档图形等领域的迁移效果，并观察到整体有所改进，验证了MATCHA预训练在更广泛的视觉语言任务中的实用性。

📚 详细文档

目录

0. 简要总结
1. 使用模型
2. 贡献者
3. 引用信息

简要总结

如上述特性中所述，MATCHA模型通过特定的预训练任务，提升了视觉语言模型处理图表和语言数据的能力，在多个基准测试中表现出色，并且在不同领域有较好的迁移效果。

使用模型

从T5x转换到Hugging Face

提供了具体的脚本使用方法和大模型转换的额外参数。

运行预测

提供了参考的模型卡片链接。

贡献者

该模型最初由Fangyu Liu、Francesco Piccinno等人贡献，并由Younes Belkada添加到Hugging Face生态系统中。

引用信息

如果你想引用这项工作，请考虑引用原始论文：

@misc{liu2022matcha,
      title={MatCha: Enhancing Visual Language Pretraining with Math Reasoning and Chart Derendering}, 
      author={Fangyu Liu and Francesco Piccinno and Syrine Krichene and Chenxi Pang and Kenton Lee and Mandar Joshi and Yasemin Altun and Nigel Collier and Julian Martin Eisenschlos},
      year={2022},
      eprint={2212.09662},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 许可证

本模型使用的许可证为Apache - 2.0。

📦 模型信息