Trocr Base Stage1

🚀 TrOCR（基礎大小模型，僅預訓練）

TrOCR是一個僅經過預訓練的模型。它由Li等人在論文 TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models 中提出，並首次在 此倉庫 中發佈。

免責聲明：發佈TrOCR的團隊並未為此模型撰寫模型卡片，因此本模型卡片由Hugging Face團隊撰寫。

✨ 主要特性

TrOCR模型是一個編碼器 - 解碼器模型，由一個圖像Transformer作為編碼器，一個文本Transformer作為解碼器組成。圖像編碼器的權重初始化為BEiT的權重，而文本解碼器的權重初始化為RoBERTa的權重。

圖像以固定大小的塊序列（分辨率為16x16）的形式呈現給模型，這些塊經過線性嵌入。在將序列輸入到Transformer編碼器的各層之前，還會添加絕對位置嵌入。接下來，Transformer文本解碼器自迴歸地生成標記。

🚀 快速開始

你可以使用這個原始模型對單行文本圖像進行光學字符識別（OCR）。請查看 模型中心 以查找針對你感興趣的任務進行微調的版本。

💻 使用示例

基礎用法

以下是如何在PyTorch中使用此模型的示例：

from transformers import TrOCRProcessor, VisionEncoderDecoderModel
from PIL import Image
import requests

# load image from the IAM database
url = 'https://fki.tic.heia-fr.ch/static/img/a01-122-02-00.jpg'
image = Image.open(requests.get(url, stream=True).raw).convert("RGB")

processor = TrOCRProcessor.from_pretrained('microsoft/trocr-base-stage1')
model = VisionEncoderDecoderModel.from_pretrained('microsoft/trocr-base-stage1')

# training
pixel_values = processor(image, return_tensors="pt").pixel_values  # Batch size 1
decoder_input_ids = torch.tensor([[model.config.decoder.decoder_start_token_id]])
outputs = model(pixel_values=pixel_values, decoder_input_ids=decoder_input_ids)

📚 詳細文檔

BibTeX引用和引用信息

@misc{li2021trocr,
      title={TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models}, 
      author={Minghao Li and Tengchao Lv and Lei Cui and Yijuan Lu and Dinei Florencio and Cha Zhang and Zhoujun Li and Furu Wei},
      year={2021},
      eprint={2109.10282},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}