Trocr Base Printed

🚀 TrOCR（基礎大小模型，在SROIE上微調）

TrOCR是一個基於Transformer的光學字符識別模型，通過在 SROIE數據集 上進行微調，提升了對特定文本圖像的識別能力。該模型由Li等人在論文 TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models 中提出，並首次在 此倉庫 中發佈。

聲明：發佈TrOCR的團隊未為此模型編寫模型卡片，此模型卡片由Hugging Face團隊編寫。

✨ 主要特性

• 創新架構：TrOCR是一個編碼器 - 解碼器模型，編碼器採用圖像Transformer，解碼器採用文本Transformer。圖像編碼器的權重初始化自BEiT，文本解碼器的權重初始化自RoBERTa。
• 高效處理：模型將圖像表示為固定大小（16x16）的圖像塊序列，經過線性嵌入和位置編碼後輸入到Transformer編碼器層，再由文本解碼器自迴歸生成文本。

🚀 快速開始

你可以使用此原始模型對單行文本圖像進行光學字符識別（OCR）。若想尋找針對特定任務微調的版本，可查看 模型中心。

💻 使用示例

基礎用法

from transformers import TrOCRProcessor, VisionEncoderDecoderModel
from PIL import Image
import requests

# 從IAM數據庫加載圖像（實際上此模型適用於印刷文本）
url = 'https://fki.tic.heia-fr.ch/static/img/a01-122-02-00.jpg'
image = Image.open(requests.get(url, stream=True).raw).convert("RGB")

processor = TrOCRProcessor.from_pretrained('microsoft/trocr-base-printed')
model = VisionEncoderDecoderModel.from_pretrained('microsoft/trocr-base-printed')
pixel_values = processor(images=image, return_tensors="pt").pixel_values

generated_ids = model.generate(pixel_values)
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]

📚 詳細文檔

模型描述

TrOCR模型是一個編碼器 - 解碼器模型，由圖像Transformer編碼器和文本Transformer解碼器組成。圖像編碼器的權重初始化自BEiT，文本解碼器的權重初始化自RoBERTa。

模型將圖像表示為固定大小（16x16）的圖像塊序列，經過線性嵌入後，添加絕對位置編碼，再輸入到Transformer編碼器層。接著，文本解碼器自迴歸生成文本。

BibTeX引用和引用信息

@misc{li2021trocr,
      title={TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models}, 
      author={Minghao Li and Tengchao Lv and Lei Cui and Yijuan Lu and Dinei Florencio and Cha Zhang and Zhoujun Li and Furu Wei},
      year={2021},
      eprint={2109.10282},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}