Trocr Large Str

🚀 TrOCR (大型モデル、STRベンチマークでファインチューニング済み)

TrOCRモデルは、IC13、IC15、IIIT5K、SVTのトレーニングセットでファインチューニングされています。このモデルは、Liらによる論文 TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models で紹介され、このリポジトリ で最初に公開されました。

🚀 クイックスタート

TrOCRモデルは、IC13、IC15、IIIT5K、SVTのトレーニングセットでファインチューニングされた光学文字認識（OCR）モデルです。このモデルは、画像トランスフォーマーをエンコーダー、テキストトランスフォーマーをデコーダーとするエンコーダー・デコーダーモデルです。

✨ 主な機能

• 画像トランスフォーマーをエンコーダー、テキストトランスフォーマーをデコーダーとするエンコーダー・デコーダーモデル。
• 画像エンコーダーはBEiTの重みから、テキストデコーダーはRoBERTaの重みから初期化されます。
• 単一のテキスト行画像の光学文字認識（OCR）に使用できます。

📚 ドキュメント

モデルの説明

TrOCRモデルはエンコーダー・デコーダーモデルで、エンコーダーとして画像トランスフォーマー、デコーダーとしてテキストトランスフォーマーで構成されています。画像エンコーダーはBEiTの重みから初期化され、テキストデコーダーはRoBERTaの重みから初期化されます。

画像は固定サイズのパッチ（解像度16x16）のシーケンスとしてモデルに入力され、線形埋め込みされます。また、シーケンスをトランスフォーマーエンコーダーのレイヤーに入力する前に、絶対位置埋め込みも追加されます。次に、トランスフォーマーのテキストデコーダーが自己回帰的にトークンを生成します。

想定される用途と制限

この生モデルは、単一のテキスト行画像の光学文字認識（OCR）に使用できます。関心のあるタスクでファインチューニングされたバージョンを探すには、モデルハブ を参照してください。

💻 使用例

基本的な使用法

from transformers import TrOCRProcessor, VisionEncoderDecoderModel
from PIL import Image
import requests

# load image from the IIIT-5k dataset
url = 'https://i.postimg.cc/ZKwLg2Gw/367-14.png'
image = Image.open(requests.get(url, stream=True).raw).convert("RGB")

processor = TrOCRProcessor.from_pretrained('microsoft/trocr-large-str')
model = VisionEncoderDecoderModel.from_pretrained('microsoft/trocr-large-str')
pixel_values = processor(images=image, return_tensors="pt").pixel_values

generated_ids = model.generate(pixel_values)
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]

BibTeX引用

@misc{li2021trocr,
      title={TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models}, 
      author={Minghao Li and Tengchao Lv and Lei Cui and Yijuan Lu and Dinei Florencio and Cha Zhang and Zhoujun Li and Furu Wei},
      year={2021},
      eprint={2109.10282},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}