Magi

🚀 漫畫低語者：自動生成漫畫轉錄內容

本項目名為“漫畫低語者”，主要用於自動生成漫畫的轉錄內容。它結合了漫畫、目標檢測、OCR、聚類和說話人分離等多種技術，為漫畫內容的處理提供了高效的解決方案。

🚀 快速開始

本項目可以幫助你自動生成漫畫的轉錄內容。以下是使用示例：

from transformers import AutoModel
import numpy as np
from PIL import Image
import torch
import os

images = [
        "path_to_image1.jpg",
        "path_to_image2.png",
    ]

def read_image_as_np_array(image_path):
    with open(image_path, "rb") as file:
        image = Image.open(file).convert("L").convert("RGB")
        image = np.array(image)
    return image

images = [read_image_as_np_array(image) for image in images]

model = AutoModel.from_pretrained("ragavsachdeva/magi", trust_remote_code=True).cuda()
with torch.no_grad():
    results = model.predict_detections_and_associations(images)
    text_bboxes_for_all_images = [x["texts"] for x in results]
    ocr_results = model.predict_ocr(images, text_bboxes_for_all_images)

for i in range(len(images)):
    model.visualise_single_image_prediction(images[i], results[i], filename=f"image_{i}.png")
    model.generate_transcript_for_single_image(results[i], ocr_results[i], filename=f"transcript_{i}.txt")

📄 許可證

提供的模型和數據集可在個人、研究、非商業和非營利性項目中無限制使用。對於其他使用場景，請通過我的網站（ragavsachdeva [dot] github [dot] io）上的聯繫方式發郵件給我，詳細描述你的需求，以便達成定製許可協議。

引用方式

@misc{sachdeva2024manga,
      title={The Manga Whisperer: Automatically Generating Transcriptions for Comics}, 
      author={Ragav Sachdeva and Andrew Zisserman},
      year={2024},
      eprint={2401.10224},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}