Ko Trocr Base Nsmc News Chatbot

🚀 韓国語用TrOCR (PoC)

このプロジェクトでは、TrOCRが韓国語を含む多言語モデルをまだリリースしていないため、PoC目的で韓国語モデルを訓練しました。このモデルをベースに、より多くのデータを収集して1段階目の追加訓練を行うか、2段階目として微調整を行うことをおすすめします。

✨ 主な機能

• 韓国語の画像からテキストへの変換を行うことができます。
• 特定のデータセットを用いて訓練されたモデルを提供します。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

from transformers import TrOCRProcessor, VisionEncoderDecoderModel, AutoTokenizer
import requests 
from io import BytesIO
from PIL import Image

processor = TrOCRProcessor.from_pretrained("microsoft/trocr-base-handwritten") 
model = VisionEncoderDecoderModel.from_pretrained("daekeun-ml/ko-trocr-base-nsmc-news-chatbot")
tokenizer = AutoTokenizer.from_pretrained("daekeun-ml/ko-trocr-base-nsmc-news-chatbot")

url = "https://raw.githubusercontent.com/aws-samples/sm-kornlp/main/trocr/sample_imgs/news_1.jpg"
response = requests.get(url)
img = Image.open(BytesIO(response.content))

pixel_values = processor(img, return_tensors="pt").pixel_values 
generated_ids = model.generate(pixel_values, max_length=64)
generated_text = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0] 
print(generated_text)

📚 ドキュメント

データ収集

テキストデータ

3種類のデータセットを処理して訓練データを作成しました。

• ニュース要約データセット: https://huggingface.co/datasets/daekeun-ml/naver-news-summarization-ko
• ネイバ映画評判分類: https://github.com/e9t/nsmc
• チャットボットデータセット: https://github.com/songys/Chatbot_data

効率的なデータ収集のために、各文を文区切りライブラリ（Kiwi Python wrapper; https://github.com/bab2min/kiwipiepy）で区切り、結果として637,401サンプルを収集しました。

画像データ

画像データは、TrOCR論文で紹介されているTextRecognitionDataGenerator（https://github.com/Belval/TextRecognitionDataGenerator）を用いて生成しました。 以下は画像生成のコードスニペットです。

python3 ./trdg/run.py -i ocr_dataset_poc.txt -w 5 -t {num_cores} -f 64 -l ko -c {num_samples} -na 2 --output_dir {dataset_dir}

訓練

ベースモデル

エンコーダモデルにはfacebook/deit-base-distilled-patch16-384を、デコーダモデルにはklue/roberta-baseを使用しました。microsoft/trocr-base-stage1からの重みで訓練するよりも簡単です。

パラメータ

別途ハイパーパラメータチューニングを行わず、ヒューリスティックなパラメータを使用しました。

• learning_rate = 4e-5
• epochs = 25
• fp16 = True
• max_length = 64

その他情報

データ収集とモデル訓練に必要なすべてのコードは、作者のGithubに公開されています。

• https://github.com/daekeun-ml/sm-kornlp-usecases/tree/main/trocr

🔧 技術詳細

このセクションでは、モデルの訓練に関する技術的な詳細を説明します。エンコーダとデコーダのモデル選択、パラメータの設定など、具体的な技術的な内容が含まれています。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。