Block Diagram Global Information

🚀 框图全局信息提取器

本项目是论文《Unveiling the Power of Integration: Block Diagram Summarization through Local-Global Fusion》中提出的成果，该论文已被ACL 2024接收。完整代码可在这个 BlockNet GitHub仓库中获取。本项目旨在从框图图像中提取整体摘要信息，支持英语和韩语两种语言。

✨ 主要特性

• 基于Transformer编码器和解码器架构进行训练，依据 Donut 中指定的配置，能够有效提取框图图像的整体摘要。
• 支持英语和韩语两种语言，具有广泛的适用性。
• 采用直观的架构，包含基于Transformer架构的视觉编码器模块和文本解码器模块。

📦 安装指南

文档未提及安装步骤，暂不展示。

💻 使用示例

基础用法

import os
from PIL import Image
import torch
from donut import DonutModel

# Load the pre-trained model
model = DonutModel.from_pretrained("shreyanshu09/block_diagram_global_information") 

# Move the model to GPU if available
if torch.cuda.is_available():
    model.half()
    device = torch.device("cuda:0")
    model.to(device)
    
# Function to process a single image
def process_image(image_path):
    # Load and process the image
    image = Image.open(image_path)
    task_name = os.path.basename('/block_diagram_global_information/dataset/c2t_data/')                  # Create empty folder anywhere
    result = model.inference(image=image, prompt=f"<s_{task_name}>")["predictions"][0]

    # Extract the relevant information from the result
    if 'c2t' in result:
        return result['c2t']
    else:
        return result['text_sequence']

# Example usage
image_path = 'image.png'                  # Input image file
result = process_image(image_path)

📚 详细文档

模型描述

该模型使用Transformer编码器和解码器架构进行训练，基于 Donut 中指定的配置，用于提取框图图像的整体摘要。它支持英语和韩语两种语言。其架构简单明了，包含一个视觉编码器模块和一个文本解码器模块，两者均基于Transformer架构。

训练数据集

• 来自英语合成和真实世界框图数据集（BD - EnKo）的41,933个样本。
• 来自韩语合成和真实世界框图数据集（BD - EnKo）的33,101个样本。
• 来自真实世界英语框图数据集（CBD）的396个样本。
• 来自手写英语框图数据集（FC_A）的357个样本。
• 来自手写英语框图数据集（FC_B）的476个样本。

📄 许可证

本项目的内容遵循 [Attribution - NonCommercial - ShareAlike 4.0 International (CC BY - NC - SA 4.0)](https://creativecommons.org/licenses/by - nc - sa/4.0/) 许可协议。

📞 联系方式

如果您对这项工作有任何疑问，请通过以下电子邮件地址联系 Shreyanshu Bhushan：shreyanshubhushan@gmail.com。