Trocr Base Handwritten Ru

🚀 TrOCR-ru (ベースサイズのモデル、キリル文字手書きデータセットでファインチューニング済み)

TrOCRモデルは、microsoftによって開発され、キリル文字手書きデータセットでファインチューニングされています。元のモデルは、Liらによる論文TrOCR: Transformer-based Optical Character Recognition with Pre-trained Modelsで紹介されました。

📚 ドキュメント

🔍 モデルの説明

TrOCRモデルはエンコーダ・デコーダモデルで、エンコーダとして画像Transformer、デコーダとしてテキストTransformerで構成されています。画像エンコーダはBEiTの重みから初期化され、テキストデコーダはRoBERTaの重みから初期化されます。

画像は固定サイズのパッチ（解像度16x16）のシーケンスとしてモデルに入力され、線形埋め込みが行われます。また、シーケンスをTransformerエンコーダのレイヤーに入力する前に、絶対位置埋め込みが追加されます。次に、Transformerテキストデコーダが自己回帰的にトークンを生成します。

💻 使用例

基本的な使用法

from transformers import TrOCRProcessor, VisionEncoderDecoderModel
from PIL import Image
import requests

image = Image.open("<image file path or url>").convert("RGB")

processor = TrOCRProcessor.from_pretrained('kazars24/trocr-base-handwritten-ru')
model = VisionEncoderDecoderModel.from_pretrained('kazars24/trocr-base-handwritten-ru')

pixel_values = processor(images=image, return_tensors="pt").pixel_values
generated_ids = model.generate(pixel_values)
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]

🔧 技術詳細

📦 トレーニングデータ

キリル文字手書きデータセットは、OCRタスク用のデータセットで、ロシア語の手書きテキストのセグメント（クロップ）73830個で構成されています。このデータセットは、それぞれ95％、5％の比率でトレーニングセットとテストセットに分割されています。このデータセットはSHIFT Lab CFTによって提供されています。

詳細については、Explore Cyrillic Handwriting Dataset notebookを参照してください。

トレーニング例の数: 57827 検証例の数: 14457

トレーニングハイパーパラメータ

5エポックとデフォルトのハイパーパラメータ。

評価指標

文字誤り率 (CER)

📊 結果

トレーニング損失: 0.026100 検証損失: 0.120961 CER: 0.048542