Ko Trocr

🚀 韓国語TrOCRモデル

• TrOCRモデルは、デコーダのトークナイザに存在しない文字をOCRできないため、子音を使用するトークナイザを用いたデコーダモデルを採用し、子音がUNKとして表示されないようにしたTrOCRモデルです。
• 2023教員グループAI OCRチャレンジ で得たノウハウを活用して作成されました。

🚀 クイックスタート

この韓国語TrOCRモデルは、画像からテキストを抽出するために使用できます。以下に使用方法を説明します。

✨ 主な機能

• 子音を含む韓国語文字を正確にOCRできます。
• 2023教員グループAI OCRチャレンジのノウハウを活用しています。

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。以下のコマンドを使用してインストールできます。

pip install transformers requests pillow

💻 使用例

基本的な使用法

from transformers import TrOCRProcessor, VisionEncoderDecoderModel, AutoTokenizer
import requests 
import unicodedata
from io import BytesIO
from PIL import Image

processor = TrOCRProcessor.from_pretrained("ddobokki/ko-trocr") 
model = VisionEncoderDecoderModel.from_pretrained("ddobokki/ko-trocr")
tokenizer = AutoTokenizer.from_pretrained("ddobokki/ko-trocr")

url = "https://raw.githubusercontent.com/ddobokki/ocr_img_example/master/g.jpg"
response = requests.get(url)
img = Image.open(BytesIO(response.content))

pixel_values = processor(img, return_tensors="pt").pixel_values 
generated_ids = model.generate(pixel_values, max_length=64)
generated_text = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
generated_text = unicodedata.normalize("NFC", generated_text)
print(generated_text)

📚 ドキュメント

学習データセット

AI Hub

• 多様な形態の韓国語文字OCR
• 公共行政文書OCR

モデル構造

📄 ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。