Unichart Base 960

🚀 UniChart - チャート理解と推論のための汎用ビジョン言語事前学習モデル

このモデルは、チャートの理解と推論を行うための事前学習モデルで、チャートの要約や質問応答などのタスクに対応しています。

🚀 クイックスタート

論文の概要によると、チャートはデータ分析、重要な洞察の可視化、データに関する複雑な推論質問への回答に非常に便利です。自然言語を使用したチャートベースのデータ分析を容易にするために、最近、チャート質問応答やチャート要約などのいくつかの下流タスクが導入されています。しかし、これらのタスクを解決するほとんどの方法は、チャートの構造を明示的にモデル化しようとしない言語またはビジョン言語タスクでの事前学習を使用しています。この問題を解決するために、まず、幅広いトピックと視覚スタイルをカバーする大規模なチャートコーパスを構築しました。次に、チャート理解と推論のための事前学習モデルであるUniChartを提案します。UniChartは、チャートの関連テキスト、データ、および視覚要素をエンコードし、チャートに基づくテキストデコーダを使用して自然言語で期待される出力を生成します。チャート固有のいくつかの事前学習タスクを提案し、これには、(i) チャートから視覚要素（例：棒グラフ、折れ線グラフ）とデータを抽出する低レベルタスクと、(ii) チャート理解と推論スキルを習得する高レベルタスクが含まれます。チャート固有の低レベルと高レベルのタスクを大規模なコーパスで事前学習し、3つの下流タスクで微調整すると、3つの下流タスクで最先端の性能が得られることがわかりました。

✨ 主な機能

• チャート要約
• データテーブル生成
• チャート質問応答

📦 インストール

このモデルはHugging Faceのライブラリを使用しているため、必要なライブラリをインストールするだけです。

pip install transformers pillow torch

💻 使用例

基本的な使用法

# 必要なライブラリのインポート
from transformers import DonutProcessor, VisionEncoderDecoderModel
from PIL import Image
import torch, os, re

# サンプルチャート画像のダウンロード
torch.hub.download_url_to_file('https://raw.githubusercontent.com/vis-nlp/ChartQA/main/ChartQA%20Dataset/val/png/multi_col_1229.png', 'chart_example_1.png')

# モデル名、画像パス、入力プロンプトの設定
model_name = "ahmed-masry/unichart-chartqa-960"
image_path = "/content/chart_example_1.png"
input_prompt = "<chartqa> What is the lowest value in blue bar? <s_answer>"

# モデルとプロセッサの読み込み
model = VisionEncoderDecoderModel.from_pretrained(model_name)
processor = DonutProcessor.from_pretrained(model_name)

# デバイスの設定
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)

# 画像の読み込み
image = Image.open(image_path).convert("RGB")

# 入力プロンプトのトークン化
decoder_input_ids = processor.tokenizer(input_prompt, add_special_tokens=False, return_tensors="pt").input_ids
pixel_values = processor(image, return_tensors="pt").pixel_values

# 推論の実行
outputs = model.generate(
    pixel_values.to(device),
    decoder_input_ids=decoder_input_ids.to(device),
    max_length=model.decoder.config.max_position_embeddings,
    early_stopping=True,
    pad_token_id=processor.tokenizer.pad_token_id,
    eos_token_id=processor.tokenizer.eos_token_id,
    use_cache=True,
    num_beams=4,
    bad_words_ids=[[processor.tokenizer.unk_token_id]],
    return_dict_in_generate=True,
)

# 出力の処理
sequence = processor.batch_decode(outputs.sequences)[0]
sequence = sequence.replace(processor.tokenizer.eos_token, "").replace(processor.tokenizer.pad_token, "")
sequence = sequence.split("<s_answer>")[1].strip()

# 結果の表示
print(sequence)

高度な使用法

# 異なるタスクに対応するために、入力プロンプトを変更することができます。
# 例えば、チャート要約の場合は以下のように入力プロンプトを設定します。
input_prompt = "<summarize_chart> <s_answer>"

📚 ドキュメント

Webデモ

モデルをすぐに試したい場合は、Hugging Face Spacesプラットフォームにホストされている公開Webデモにアクセスできます。

チャート要約の入力プロンプトは <summarize_chart> 、データテーブル生成の入力プロンプトは <extract_data_table> です。

推論

Hugging Faceライブラリを使用して、簡単にモデルを推論に使用できます。以下の手順を実行するだけです。

1. model_name を好みのチェックポイントに変更します。
2. imag_path をシステム上のチャート例画像のパスに変更します。
3. 以下の表に示すように、好みのタスクに基づいて input_prompt を記述します。

📄 ライセンス

このプロジェクトはGPL-3.0ライセンスの下で公開されています。

🔗 コンタクト

この作品に関する質問がある場合は、以下のメールアドレスを使用して Ahmed Masry に連絡してください。

• amasry17@ku.edu.tr
• ahmed.elmasry24653@gmail.com

📖 引用

研究でこのモデルまたはデータセットを使用する場合は、以下の論文を引用してください。

@misc{masry2023unichart,
      title={UniChart: A Universal Vision-language Pretrained Model for Chart Comprehension and Reasoning}, 
      author={Ahmed Masry and Parsa Kavehzadeh and Xuan Long Do and Enamul Hoque and Shafiq Joty},
      year={2023},
      eprint={2305.14761},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}