Magi

🚀 漫画低语者：自动生成漫画转录内容

本项目名为“漫画低语者”，主要用于自动生成漫画的转录内容。它结合了漫画、目标检测、OCR、聚类和说话人分离等多种技术，为漫画内容的处理提供了高效的解决方案。

🚀 快速开始

本项目可以帮助你自动生成漫画的转录内容。以下是使用示例：

from transformers import AutoModel
import numpy as np
from PIL import Image
import torch
import os

images = [
        "path_to_image1.jpg",
        "path_to_image2.png",
    ]

def read_image_as_np_array(image_path):
    with open(image_path, "rb") as file:
        image = Image.open(file).convert("L").convert("RGB")
        image = np.array(image)
    return image

images = [read_image_as_np_array(image) for image in images]

model = AutoModel.from_pretrained("ragavsachdeva/magi", trust_remote_code=True).cuda()
with torch.no_grad():
    results = model.predict_detections_and_associations(images)
    text_bboxes_for_all_images = [x["texts"] for x in results]
    ocr_results = model.predict_ocr(images, text_bboxes_for_all_images)

for i in range(len(images)):
    model.visualise_single_image_prediction(images[i], results[i], filename=f"image_{i}.png")
    model.generate_transcript_for_single_image(results[i], ocr_results[i], filename=f"transcript_{i}.txt")

📄 许可证

提供的模型和数据集可在个人、研究、非商业和非营利性项目中无限制使用。对于其他使用场景，请通过我的网站（ragavsachdeva [dot] github [dot] io）上的联系方式发邮件给我，详细描述你的需求，以便达成定制许可协议。

引用方式

@misc{sachdeva2024manga,
      title={The Manga Whisperer: Automatically Generating Transcriptions for Comics}, 
      author={Ragav Sachdeva and Andrew Zisserman},
      year={2024},
      eprint={2401.10224},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}