Diagram To Code Agent

🚀 圖表轉代碼智能體（DiagramAgent/Diagram_to_Code_Agent）

本智能體旨在將給定的圖表（可視化表示）轉換為相應的結構化代碼，為自動化圖表編輯、逆向工程等場景提供可靠支持。

🚀 快速開始

你可以按照以下步驟使用該智能體：

from transformers import Qwen2VLForConditionalGeneration, AutoTokenizer, AutoProcessor
from qwen_vl_utils import process_vision_info

# 默認：將模型加載到可用設備上
model = Qwen2VLForConditionalGeneration.from_pretrained(
    "DiagramAgent/Diagram_to_Code_Agent", torch_dtype="auto", device_map="auto"
)

# 默認處理器
processor = AutoProcessor.from_pretrained("DiagramAgent/Diagram_to_Code_Agent")

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "your input",
            },
            {"type": "text", "text": "image path"},
        ],
    }
]

# 推理準備
text = processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(
    text=[text],
    images=image_inputs,
    videos=video_inputs,
    padding=True,
    return_tensors="pt",
)
inputs = inputs.to("cuda")

# 推理：生成輸出
generated_ids = model.generate(**inputs, max_new_tokens=8192)
generated_ids_trimmed = [
    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_text = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)

✨ 主要特性

• 功能強大：能夠將現有的圖表轉換為結構化的代碼表示，支持圖表編輯工作流程，捕捉並保留圖表的隱式邏輯結構和視覺細節。
• 應用廣泛：可應用於自動化圖表編輯、可視化圖表的逆向工程以及增強數據可視化工具等場景。
• 架構先進：基於Qwen2-VL-7B模型進行訓練，與檢查智能體緊密協作，確保生成代碼的準確性。

📚 詳細文檔

模型概述

• 名稱：DiagramAgent/Diagram_to_Code_Agent
• 描述：該智能體的任務是將給定的圖表（可視化表示）轉換為相應的結構化代碼。

預期用途

• 主要任務：
  • 將現有圖表轉換為結構化代碼表示。
  • 為圖表編輯工作流程提供可靠的代碼基礎，支持修改操作。
  • 捕捉並保留圖表的隱式邏輯結構和視覺細節。
• 應用場景：
  • 自動化圖表編輯：將圖表轉換為代碼，以便進行後續修改。
  • 可視化圖表的逆向工程：用於分析和複用。
  • 增強數據可視化工具：通過集成基於代碼的圖表表示。

架構和訓練細節

• 基礎模型：使用Qwen2-VL-7B模型，這是一個視覺語言融合模型。
• 訓練過程：
  • 在DiagramGenBenchmark數據集中的各種圖表樣本上進行訓練。
  • 目標是生成與參考代碼高度一致的代碼，確保準確捕捉所有圖表元素。
  • 使用專門的損失函數來減少生成代碼與參考代碼之間的編輯距離。
• 模塊交互：與檢查智能體緊密協作，該智能體驗證生成的代碼並提供反饋以進行進一步優化。

信息表格

📄 許可證

本項目採用Apache-2.0許可證。

📚 引用

如果你覺得我們的工作有幫助，請引用以下論文：

@inproceedings{wei2024wordsstructuredvisualsbenchmark,
  title={From Words to Structured Visuals: A Benchmark and Framework for Text-to-Diagram Generation and Editing},
  author={Jingxuan Wei and Cheng Tan and Qi Chen and Gaowei Wu and Siyuan Li and Zhangyang Gao and Linzhuang Sun and Bihui Yu and Ruifeng Guo},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  year={2025}
}