Block Diagram Global Information

🚀 框圖全局信息提取器

本項目是論文《Unveiling the Power of Integration: Block Diagram Summarization through Local-Global Fusion》中提出的成果，該論文已被ACL 2024接收。完整代碼可在這個 BlockNet GitHub倉庫中獲取。本項目旨在從框圖圖像中提取整體摘要信息，支持英語和韓語兩種語言。

✨ 主要特性

• 基於Transformer編碼器和解碼器架構進行訓練，依據 Donut 中指定的配置，能夠有效提取框圖圖像的整體摘要。
• 支持英語和韓語兩種語言，具有廣泛的適用性。
• 採用直觀的架構，包含基於Transformer架構的視覺編碼器模塊和文本解碼器模塊。

📦 安裝指南

文檔未提及安裝步驟，暫不展示。

💻 使用示例

基礎用法

import os
from PIL import Image
import torch
from donut import DonutModel

# Load the pre-trained model
model = DonutModel.from_pretrained("shreyanshu09/block_diagram_global_information") 

# Move the model to GPU if available
if torch.cuda.is_available():
    model.half()
    device = torch.device("cuda:0")
    model.to(device)
    
# Function to process a single image
def process_image(image_path):
    # Load and process the image
    image = Image.open(image_path)
    task_name = os.path.basename('/block_diagram_global_information/dataset/c2t_data/')                  # Create empty folder anywhere
    result = model.inference(image=image, prompt=f"<s_{task_name}>")["predictions"][0]

    # Extract the relevant information from the result
    if 'c2t' in result:
        return result['c2t']
    else:
        return result['text_sequence']

# Example usage
image_path = 'image.png'                  # Input image file
result = process_image(image_path)

📚 詳細文檔

模型描述

該模型使用Transformer編碼器和解碼器架構進行訓練，基於 Donut 中指定的配置，用於提取框圖圖像的整體摘要。它支持英語和韓語兩種語言。其架構簡單明瞭，包含一個視覺編碼器模塊和一個文本解碼器模塊，兩者均基於Transformer架構。

訓練數據集

• 來自英語合成和真實世界框圖數據集（BD - EnKo）的41,933個樣本。
• 來自韓語合成和真實世界框圖數據集（BD - EnKo）的33,101個樣本。
• 來自真實世界英語框圖數據集（CBD）的396個樣本。
• 來自手寫英語框圖數據集（FC_A）的357個樣本。
• 來自手寫英語框圖數據集（FC_B）的476個樣本。

📄 許可證

本項目的內容遵循 [Attribution - NonCommercial - ShareAlike 4.0 International (CC BY - NC - SA 4.0)](https://creativecommons.org/licenses/by - nc - sa/4.0/) 許可協議。

📞 聯繫方式

如果您對這項工作有任何疑問，請通過以下電子郵件地址聯繫 Shreyanshu Bhushan：shreyanshubhushan@gmail.com。