Diagram2graph Adapters

🚀 🖼️🔗 ダイアグラムからグラフへの変換モデル

このモデルは、Zackariya Solution でのインターンシップ中に行われた研究プロジェクトです。画像から構造化データ（JSON）、特にノード、エッジ、およびそれらのサブ属性を抽出し、視覚情報を知識グラフとして表現することに特化しています。

🚀 注意: このモデルは学習目的のみを対象としており、本番環境での使用は想定されていません。抽出される構造化データは、プロジェクトのニーズに応じて異なる場合があります。

🚀 クイックスタート

このモデルを使用することで、画像から構造化データを抽出し、知識グラフとして表現することができます。以下のセクションでは、モデルの詳細、使用方法、トレーニングの詳細、評価結果などを説明します。

✨ 主な機能

• 画像から構造化データ（JSON）を抽出する。
• ノード、エッジ、およびそれらのサブ属性を特定し、知識グラフとして表現する。
• ダイアグラムからグラフへの変換を行う。
• AIによる画像からの構造化データ抽出をサポートする。

📋 モデルの詳細

🎯 使用例

直接的な使用

• ダイアグラムからグラフへの変換の実験 📊
• 画像からのAIによる構造化抽出の理解

下流での使用（潜在的）

• BPMN/フローチャート分析の強化 🏗️
• 自動文書処理のサポート 📄

対象外の使用

• 実世界の本番環境でのデプロイには適していません ⚠️
• すべてのダイアグラムタイプに対して汎化性が高くない場合があります

💻 使用例

基本的な使用法

%pip install -q "transformers>=4.49.0" accelerate datasets "qwen-vl-utils[decord]==0.0.8"

import os
import PIL
import torch
from qwen_vl_utils import process_vision_info
from transformers import Qwen2_5_VLForConditionalGeneration, Qwen2_5_VLProcessor


MODEL_ID="zackriya/diagram2graph-adapters"
MAX_PIXELS = 1280 * 28 * 28
MIN_PIXELS = 256 * 28 * 28


model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    MODEL_ID,
    device_map="auto",
    torch_dtype=torch.bfloat16
)

processor = Qwen2_5_VLProcessor.from_pretrained(
    MODEL_ID,
    min_pixels=MIN_PIXELS,
    max_pixels=MAX_PIXELS
)


SYSTEM_MESSAGE = """You are a Vision Language Model specialized in extracting structured data from visual representations of process and flow diagrams.
Your task is to analyze the provided image of a diagram and extract the relevant information into a well-structured JSON format.
The diagram includes details such as nodes and edges. each of them have their own attributes.
Focus on identifying key data fields and ensuring the output adheres to the requested JSON structure.
Provide only the JSON output based on the extracted information. Avoid additional explanations or comments."""

def run_inference(image):
    messages= [
        {
            "role": "system",
            "content": [{"type": "text", "text": SYSTEM_MESSAGE}],
        },
        {
            "role": "user",
            "content": [
                {
                    "type": "image",
                    # this image is handled by qwen_vl_utils's process_visio_Info so no need to worry about pil image or path
                    "image": image,
                },
                {
                    "type": "text",
                    "text": "Extract data in JSON format, Only give the JSON",
                },
            ],
        },
    ]

    text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
    image_inputs, _ = process_vision_info(messages)

    inputs = processor(
        text=[text],
        images=image_inputs,
        return_tensors="pt",
    )
    inputs = inputs.to('cuda')

    generated_ids = model.generate(**inputs, max_new_tokens=512)
    generated_ids_trimmed = [
        out_ids[len(in_ids):]
        for in_ids, out_ids
        in zip(inputs.input_ids, generated_ids)
    ]

    output_text = processor.batch_decode(
        generated_ids_trimmed,
        skip_special_tokens=True,
        clean_up_tokenization_spaces=False
    )
    return output_text
image = eval_dataset[9]['image'] # PIL image
# `image` could be URL or relative path to the image
output = run_inference(image)

# JSON loading
import json
json.loads(output[0])

🏗️ トレーニングの詳細

• データセット: 内部で作成されたダイアグラムデータセット 🖼️
• ファインチューニング: LoRAベースの最適化 ⚡
• 精度: bf16混合精度トレーニング 🎯

📈 評価

評価指標

• 指標: F1スコア 🏆
• 制限事項: 複雑で密集したダイアグラムに対しては性能が低下する場合があります ⚠️

評価結果

• ノード検出で+14%の改善
• エッジ検出で+23%の改善

🤝 コラボレーション

あなた自身のユースケースに合わせてモデルをファインチューニングしたい場合や、私たちがどのようにお手伝いできるかを調べたい場合は、一緒にコラボレーションしましょう。

Zackriya Solutions

🔗 参考文献

• Roboflow
• Qwen

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。

🚀好奇心を持ち続け、探求を続けましょう！🚀