Diagram2graph Adapters

🚀 🖼️🔗 圖表轉知識圖譜模型

本模型是一個研究驅動的項目，由 Zackariya Solution 實習期間開發。它專注於從圖像中提取結構化數據（JSON），特別是節點、邊及其子屬性，將視覺信息表示為知識圖譜。

🚀 注意：本模型僅用於學習目的，不用於生產應用。提取的結構化數據可能會根據項目需求有所不同。

🚀 快速開始

安裝依賴

%pip install -q "transformers>=4.49.0" accelerate datasets "qwen-vl-utils[decord]==0.0.8"

運行推理代碼

import os
import PIL
import torch
from qwen_vl_utils import process_vision_info
from transformers import Qwen2_5_VLForConditionalGeneration, Qwen2_5_VLProcessor


MODEL_ID="zackriya/diagram2graph-adapters"
MAX_PIXELS = 1280 * 28 * 28
MIN_PIXELS = 256 * 28 * 28


model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    MODEL_ID,
    device_map="auto",
    torch_dtype=torch.bfloat16
)

processor = Qwen2_5_VLProcessor.from_pretrained(
    MODEL_ID,
    min_pixels=MIN_PIXELS,
    max_pixels=MAX_PIXELS
)


SYSTEM_MESSAGE = """You are a Vision Language Model specialized in extracting structured data from visual representations of process and flow diagrams.
Your task is to analyze the provided image of a diagram and extract the relevant information into a well-structured JSON format.
The diagram includes details such as nodes and edges. each of them have their own attributes.
Focus on identifying key data fields and ensuring the output adheres to the requested JSON structure.
Provide only the JSON output based on the extracted information. Avoid additional explanations or comments."""

def run_inference(image):
    messages= [
        {
            "role": "system",
            "content": [{"type": "text", "text": SYSTEM_MESSAGE}],
        },
        {
            "role": "user",
            "content": [
                {
                    "type": "image",
                    # this image is handled by qwen_vl_utils's process_visio_Info so no need to worry about pil image or path
                    "image": image,
                },
                {
                    "type": "text",
                    "text": "Extract data in JSON format, Only give the JSON",
                },
            ],
        },
    ]

    text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
    image_inputs, _ = process_vision_info(messages)

    inputs = processor(
        text=[text],
        images=image_inputs,
        return_tensors="pt",
    )
    inputs = inputs.to('cuda')

    generated_ids = model.generate(**inputs, max_new_tokens=512)
    generated_ids_trimmed = [
        out_ids[len(in_ids):]
        for in_ids, out_ids
        in zip(inputs.input_ids, generated_ids)
    ]

    output_text = processor.batch_decode(
        generated_ids_trimmed,
        skip_special_tokens=True,
        clean_up_tokenization_spaces=False
    )
    return output_text
image = eval_dataset[9]['image'] # PIL image
# `image` could be URL or relative path to the image
output = run_inference(image)

# JSON loading
import json
json.loads(output[0])

✨ 主要特性

• 專注於從圖像中提取結構化數據（JSON），將視覺信息表示為知識圖譜。
• 可用於圖表轉知識圖譜的實驗和理解AI驅動的圖像結構化提取。

📋 模型詳情

🎯 使用場景

✅ 直接使用

• 進行圖表轉知識圖譜的實驗 📊
• 理解圖像的AI驅動結構化提取

🚀 下游使用（潛在）

• 增強 BPMN/流程圖 分析 🏗️
• 支持 自動化文檔處理 📄

❌ 不適用場景

• 不適用於實際生產部署 ⚠️
• 可能無法在所有圖表類型上很好地泛化

🏗️ 訓練詳情

• 數據集：內部整理的圖表數據集 🖼️
• 微調方法：基於LoRA的優化 ⚡
• 精度：bf16混合精度訓練 🎯

📈 評估

評估指標

• 指標：F1分數 🏆
• 侷限性：可能在處理複雜、密集的圖表時遇到困難 ⚠️

評估結果

• 節點檢測提高了14%
• 邊檢測提高了23%

🤝 合作

如果您有興趣針對自己的用例微調模型，或者想了解我們如何提供幫助，歡迎合作。

Zackriya Solutions

🔗 參考資料

• Roboflow
• Qwen

🚀保持好奇，不斷探索！🚀