Trocr Large Str

🚀 TrOCR（大型模型，在STR基準上微調）

TrOCR是一種基於Transformer的光學字符識別模型，它在IC13、IC15、IIIT5K和SVT等數據集上進行了微調。該模型由Li等人在論文TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models中提出，並首次在此倉庫中發佈。

🚀 快速開始

你可以使用該原始模型對單行文本圖像進行光學字符識別（OCR）。你可以在模型中心查找針對你感興趣的任務進行微調的版本。

✨ 主要特性

• 模型架構：TrOCR是一個編碼器 - 解碼器模型，由一個圖像Transformer作為編碼器，一個文本Transformer作為解碼器組成。圖像編碼器的權重初始化自BEiT，而文本解碼器的權重初始化自RoBERTa。
• 輸入處理：圖像以固定大小的圖像塊（分辨率為16x16）序列的形式輸入到模型中，並進行線性嵌入。在將序列輸入到Transformer編碼器層之前，還會添加絕對位置嵌入。然後，Transformer文本解碼器自迴歸地生成標記。

📚 詳細文檔

模型描述

TrOCR模型是一個編碼器 - 解碼器模型，由圖像Transformer作為編碼器，文本Transformer作為解碼器組成。圖像編碼器的權重初始化為BEiT的權重，而文本解碼器的權重初始化為RoBERTa的權重。

圖像以固定大小的圖像塊（分辨率為16x16）序列的形式呈現給模型，並進行線性嵌入。在將序列輸入到Transformer編碼器層之前，還會添加絕對位置嵌入。接下來，Transformer文本解碼器自迴歸地生成標記。

預期用途和侷限性

你可以使用原始模型對單行文本圖像進行光學字符識別（OCR）。請參閱模型中心，查找針對你感興趣的任務進行微調的版本。

💻 使用示例

基礎用法

from transformers import TrOCRProcessor, VisionEncoderDecoderModel
from PIL import Image
import requests

# load image from the IIIT-5k dataset
url = 'https://i.postimg.cc/ZKwLg2Gw/367-14.png'
image = Image.open(requests.get(url, stream=True).raw).convert("RGB")

processor = TrOCRProcessor.from_pretrained('microsoft/trocr-large-str')
model = VisionEncoderDecoderModel.from_pretrained('microsoft/trocr-large-str')
pixel_values = processor(images=image, return_tensors="pt").pixel_values

generated_ids = model.generate(pixel_values)
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]

BibTeX引用

@misc{li2021trocr,
      title={TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models}, 
      author={Minghao Li and Tengchao Lv and Lei Cui and Yijuan Lu and Dinei Florencio and Cha Zhang and Zhoujun Li and Furu Wei},
      year={2021},
      eprint={2109.10282},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}