Trocr Small Stage1

🚀 TrOCR (小型モデル、事前学習のみ)

TrOCRは事前学習のみのモデルです。このモデルは、Liらによる論文 TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models で紹介され、このリポジトリ で最初に公開されました。

✨ 主な機能

TrOCRモデルはエンコーダ・デコーダモデルで、エンコーダとして画像Transformer、デコーダとしてテキストTransformerで構成されています。画像エンコーダはDeiTの重みから初期化され、テキストデコーダはUniLMの重みから初期化されます。

画像は固定サイズのパッチ（解像度16x16）のシーケンスとしてモデルに入力され、線形埋め込みされます。そして、シーケンスをTransformerエンコーダのレイヤーに入力する前に、絶対位置埋め込みも追加されます。次に、Transformerテキストデコーダが自己回帰的にトークンを生成します。

🚀 クイックスタート

このモデルは、単一行のテキスト画像に対する光学文字認識（OCR）に使用できます。関心のあるタスクに対する微調整済みバージョンを探すには、モデルハブ を参照してください。

💻 使用例

基本的な使用法

これは、このモデルをPyTorchで使用する方法です。

from transformers import TrOCRProcessor, VisionEncoderDecoderModel
from PIL import Image
import requests
import torch

# load image from the IAM database
url = 'https://fki.tic.heia-fr.ch/static/img/a01-122-02-00.jpg'
image = Image.open(requests.get(url, stream=True).raw).convert("RGB")

processor = TrOCRProcessor.from_pretrained('microsoft/trocr-small-stage1')
model = VisionEncoderDecoderModel.from_pretrained('microsoft/trocr-small-stage1')

# training
pixel_values = processor(image, return_tensors="pt").pixel_values  # Batch size 1
decoder_input_ids = torch.tensor([[model.config.decoder.decoder_start_token_id]])
outputs = model(pixel_values=pixel_values, decoder_input_ids=decoder_input_ids)

📚 ドキュメント

BibTeXエントリと引用情報

@misc{li2021trocr,
      title={TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models}, 
      author={Minghao Li and Tengchao Lv and Lei Cui and Yijuan Lu and Dinei Florencio and Cha Zhang and Zhoujun Li and Furu Wei},
      year={2021},
      eprint={2109.10282},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 ライセンス

このドキュメントには明示的なライセンス情報が含まれていません。詳細については、このリポジトリ を参照してください。