Magi

🚀 マンガ・ホワイスパー

漫画の自動文字起こしを実現するプロジェクト

このプロジェクトでは、漫画の自動文字起こしを行う技術を提供しています。漫画の画像から文字を検出し、OCRを行って文字起こしを自動生成することができます。

🚀 クイックスタート

以下の手順で、このモデルを使用して漫画の文字起こしを行うことができます。

💻 使用例

基本的な使用法

from transformers import AutoModel
import numpy as np
from PIL import Image
import torch
import os

images = [
        "path_to_image1.jpg",
        "path_to_image2.png",
    ]

def read_image_as_np_array(image_path):
    with open(image_path, "rb") as file:
        image = Image.open(file).convert("L").convert("RGB")
        image = np.array(image)
    return image

images = [read_image_as_np_array(image) for image in images]

model = AutoModel.from_pretrained("ragavsachdeva/magi", trust_remote_code=True).cuda()
with torch.no_grad():
    results = model.predict_detections_and_associations(images)
    text_bboxes_for_all_images = [x["texts"] for x in results]
    ocr_results = model.predict_ocr(images, text_bboxes_for_all_images)

for i in range(len(images)):
    model.visualise_single_image_prediction(images[i], results[i], filename=f"image_{i}.png")
    model.generate_transcript_for_single_image(results[i], ocr_results[i], filename=f"transcript_{i}.txt")

📄 ライセンス

提供されているモデルとデータセットは、個人、研究、非商業、非営利目的での使用に制限なく利用できます。それ以外の使用シナリオについては、メールで詳細な要件を説明し、カスタムライセンスの取り決めを行ってください。

連絡先はこちらのウェブサイトに記載されています: ragavsachdeva [dot] github [dot] io

@misc{sachdeva2024manga,
      title={The Manga Whisperer: Automatically Generating Transcriptions for Comics}, 
      author={Ragav Sachdeva and Andrew Zisserman},
      year={2024},
      eprint={2401.10224},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}