block_diagram_global_informationオープンソースモデル - ブロック図画像の全体要約を無料で抽出、英語と韓国語の両言語をサポート

ホーム

Block Diagram Global Information

shreyanshu09によって開発

Donutフレームワークに基づくTransformerアーキテクチャモデルで、ブロック図画像から全体の要約情報を抽出し、英語と韓国語の処理をサポートします。

画像生成テキスト

Transformers

複数言語対応#ブロック図要約生成 #多言語視覚処理 #Transformerアーキテクチャ

ダウンロード数 19

リリース時間 : 5/25/2024

モデル概要

このモデルはTransformerエンコーダー-デコーダーアーキテクチャを採用し、ブロック図画像を処理してそのグローバル情報を抽出するために特別に設計されています。ACL 2024会議論文で初めて提案され、エンジニアリングドキュメントや技術図面などのシナリオでの自動情報抽出に適しています。

モデル特徴

二言語サポート

英語と韓国語のブロック図情報の抽出と処理を同時にサポート

局所的-大域的融合

革新的な局所的-大域的融合技術を採用し、ブロック図理解の精度を向上

多様なデータトレーニング

合成データと実データの混合トレーニングにより、モデルの汎化能力を強化

モデル能力

ブロック図画像理解

技術文書情報抽出

多言語テキスト生成

エンジニアリング図面分析

使用事例

技術文書処理

エンジニアリング図面要約生成

エンジニアリングブロック図から主要コンポーネントと接続関係を自動抽出

構造化されたテキスト記述を生成

技術文書翻訳支援

ブロック図情報を抽出後、自動的に目標言語に翻訳

多言語技術文書生成

教育応用

教材自動処理

手描きブロック図を構造化記述に変換

教育リソース作成を支援

🚀 ブロック図グローバル情報抽出器

このモデルは、ACL 2024で採択された論文「Unveiling the Power of Integration: Block Diagram Summarization through Local-Global Fusion」で紹介されました。完全なコードは、このBlockNet GitHubリポジトリで入手できます。

🚀 クイックスタート

このモデルは、ブロック図画像の全体的な要約を抽出するために開発されました。Transformerエンコーダとデコーダのアーキテクチャを使用して訓練され、英語と韓国語の両方に対応しています。

✨ 主な機能

ブロック図画像から全体的な要約を抽出します。
英語と韓国語の両方に対応しています。
シンプルなTransformerベースのアーキテクチャを持っています。

📦 インストール

本READMEには具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

import os
from PIL import Image
import torch
from donut import DonutModel

# Load the pre-trained model
model = DonutModel.from_pretrained("shreyanshu09/block_diagram_global_information") 

# Move the model to GPU if available
if torch.cuda.is_available():
    model.half()
    device = torch.device("cuda:0")
    model.to(device)
    
# Function to process a single image
def process_image(image_path):
    # Load and process the image
    image = Image.open(image_path)
    task_name = os.path.basename('/block_diagram_global_information/dataset/c2t_data/')                  # Create empty folder anywhere
    result = model.inference(image=image, prompt=f"<s_{task_name}>")["predictions"][0]

    # Extract the relevant information from the result
    if 'c2t' in result:
        return result['c2t']
    else:
        return result['text_sequence']

# Example usage
image_path = 'image.png'                  # Input image file
result = process_image(image_path)

📚 ドキュメント

モデルの説明

このモデルは、Donutで指定された設定に基づいて、Transformerエンコーダとデコーダのアーキテクチャを使用して訓練され、ブロック図画像の全体的な要約を抽出します。英語と韓国語の両方に対応しています。シンプルなアーキテクチャは、どちらもTransformerアーキテクチャに基づく視覚エンコーダモジュールとテキストデコーダモジュールで構成されています。