Matcha Chartqa

🚀 MatCha - 在ChartQA上微調的模型卡片

MatCha是一個用於視覺問答的模型，它在Chart2text - pew數據集上進行了微調。該模型能夠更好地處理圖表等視覺語言數據，在相關基準測試中表現出色，能有效提升視覺語言模型對圖表和語言數據的聯合建模能力。

🚀 快速開始

使用模型

你需要向模型提出具體問題，以獲得一致的生成結果。以下是一個示例，詢問模型圖表中數值的總和是否大於最大值：

from transformers import Pix2StructProcessor, Pix2StructForConditionalGeneration
import requests
from PIL import Image

processor = Pix2StructProcessor.from_pretrained('google/matcha-chartqa')
model = Pix2StructForConditionalGeneration.from_pretrained('google/matcha-chartqa')

url = "https://raw.githubusercontent.com/vis-nlp/ChartQA/main/ChartQA%20Dataset/val/png/20294671002019.png"
image = Image.open(requests.get(url, stream=True).raw)

inputs = processor(images=image, text="Is the sum of all 4 places greater than Laos?", return_tensors="pt")
predictions = model.generate(**inputs, max_new_tokens=512)
print(processor.decode(predictions[0], skip_special_tokens=True))
>>> No

若要在GPU上運行預測，只需在創建模型和獲取輸入時添加 .to(0)（inputs = inputs.to(0)）。

從T5x轉換到Hugging Face

你可以使用convert_pix2struct_checkpoint_to_pytorch.py腳本進行轉換：

python convert_pix2struct_checkpoint_to_pytorch.py --t5x_checkpoint_path PATH_TO_T5X_CHECKPOINTS --pytorch_dump_path PATH_TO_SAVE --is_vqa

如果你要轉換一個大型模型，請運行：

python convert_pix2struct_checkpoint_to_pytorch.py --t5x_checkpoint_path PATH_TO_T5X_CHECKPOINTS --pytorch_dump_path PATH_TO_SAVE --use-large --is_vqa

保存後，你可以使用以下代碼片段將轉換後的模型推送到Hugging Face Hub：

from transformers import Pix2StructForConditionalGeneration, Pix2StructProcessor

model = Pix2StructForConditionalGeneration.from_pretrained(PATH_TO_SAVE)
processor = Pix2StructProcessor.from_pretrained(PATH_TO_SAVE)

model.push_to_hub("USERNAME/MODEL_NAME")
processor.push_to_hub("USERNAME/MODEL_NAME")

✨ 主要特性

論文摘要指出：視覺語言數據（如圖表、繪圖和信息圖）在人類世界中無處不在。然而，現有的先進視覺語言模型在處理這些數據時表現不佳。我們提出了MATCHA（數學推理和圖表反渲染預訓練）方法，以增強視覺語言模型對圖表/繪圖和語言數據的聯合建模能力。具體來說，我們提出了幾個預訓練任務，涵蓋了繪圖解構和數值推理，這些是視覺語言建模中的關鍵能力。我們從最近提出的圖像到文本視覺語言模型Pix2Struct開始進行MATCHA預訓練。在PlotQA和ChartQA等標準基準測試中，MATCHA模型的表現比現有先進方法高出近20%。我們還研究了MATCHA預訓練在屏幕截圖、教科書圖表和文檔圖形等領域的遷移能力，並觀察到整體性能有所提升，驗證了MATCHA預訓練在更廣泛的視覺語言任務中的實用性。

📄 許可證

本模型採用Apache - 2.0許可證。

👥 貢獻者

該模型最初由Fangyu Liu、Francesco Piccinno等人貢獻，並由Younes Belkada添加到Hugging Face生態系統中。

📖 引用

如果你想引用這項工作，請考慮引用原始論文：

@misc{liu2022matcha,
      title={MatCha: Enhancing Visual Language Pretraining with Math Reasoning and Chart Derendering}, 
      author={Fangyu Liu and Francesco Piccinno and Syrine Krichene and Chenxi Pang and Kenton Lee and Mandar Joshi and Yasemin Altun and Nigel Collier and Julian Martin Eisenschlos},
      year={2022},
      eprint={2212.09662},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📋 模型信息