Ko Deplot

🚀 ko - deplot

ko - deplotはGoogleのPix2Structアーキテクチャに基づく韓国語の視覚的質問応答（Visual - QA）モデルです。Deplot を韓国語のチャート画像とテキストのペアを使ってファインチューニングして作成されました。

🚀 クイックスタート

ko - deplotを使用することで、画像に関する質問に回答することができます。以下に具体的な使用方法を示します。

✨ 主な機能

• GoogleのPix2Structアーキテクチャをベースにした韓国語Visual - QAモデル。
• 韓国語のチャート画像とテキストのペアを使ってファインチューニングされている。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

基本的な使用法

from transformers import Pix2StructProcessor, Pix2StructForConditionalGeneration
from PIL import Image

processor = Pix2StructProcessor.from_pretrained('nuua/ko-deplot')
model = Pix2StructForConditionalGeneration.from_pretrained('nuua/ko-deplot')

IMAGE_PATH = "LOCAL_PATH_TO_IMAGE"
image = Image.open(IMAGE_PATH)

inputs = processor(images=image, text="Generate underlying data table of the figure below:", return_tensors="pt")
predictions = model.generate(**inputs, max_new_tokens=512)
print(processor.decode(predictions[0], skip_special_tokens=True))

📚 ドキュメント

トークナイザの詳細

モデルのトークナイザの語彙は、以下の要素を使用して50,344トークンから65,536トークンに拡張されました。

• 完全な韓国語の子音・母音
• 追加の韓国語の子音・母音
• Ko - Electraトークン

学習の詳細

学習データ

3つのライブラリからの合成チャートデータが使用されました。

• GenPlot
• Chart.js
• Plotly

学習手順

モデルは、元の論文に従って、最初に短いウォームアップ段階を経てから、50,000ステップの間チャートデータを使用して学習されました。

技術仕様

ハードウェア

ko - deplotはA100 80Gを使用して学習されました。

🔧 技術詳細

• 開発者: NUUA
• モデルタイプ: 視覚的質問応答
• ライセンス: apache - 2.0
• ファインチューニング元のモデル: google/deplot

📄 ライセンス

このモデルはapache - 2.0ライセンスの下で提供されています。

お問い合わせ

質問や提案がある場合は、ディスカッションタブを使用してください。直接連絡を取りたい場合は、robin@nuua.aiまでメールを送信してください。