🚀 TrOCR(小尺寸模型,在IAM上微調)
TrOCR是一種基於預訓練模型的光學字符識別(OCR)模型,本模型在 IAM數據集 上進行了微調。該模型由Li等人在論文 TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models 中提出,並首次在 此倉庫 中發佈。
🚀 快速開始
你可以使用此原始模型對單行文本圖像進行光學字符識別(OCR)。你可以訪問 模型中心 查找針對你感興趣的任務進行微調的版本。
✨ 主要特性
TrOCR模型是一個編碼器 - 解碼器模型,由作為編碼器的圖像Transformer和解碼器的文本Transformer組成。圖像編碼器的權重初始化為DeiT的權重,而文本解碼器的權重初始化為UniLM的權重。
模型將圖像表示為固定大小的圖像塊序列(分辨率為16x16),並進行線性嵌入。在將序列輸入到Transformer編碼器層之前,還會添加絕對位置嵌入。然後,Transformer文本解碼器自迴歸地生成標記。
📚 詳細文檔
模型描述
TrOCR模型是一個編碼器 - 解碼器模型,由作為編碼器的圖像Transformer和解碼器的文本Transformer組成。圖像編碼器的權重初始化為DeiT的權重,而文本解碼器的權重初始化為UniLM的權重。
模型將圖像表示為固定大小的圖像塊序列(分辨率為16x16),並進行線性嵌入。在將序列輸入到Transformer編碼器層之前,還會添加絕對位置嵌入。然後,Transformer文本解碼器自迴歸地生成標記。
預期用途和限制
你可以使用此原始模型對單行文本圖像進行光學字符識別(OCR)。你可以訪問 模型中心 查找針對你感興趣的任務進行微調的版本。
💻 使用示例
基礎用法
以下是如何在PyTorch中使用此模型:
from transformers import TrOCRProcessor, VisionEncoderDecoderModel
from PIL import Image
import requests
url = 'https://fki.tic.heia-fr.ch/static/img/a01-122-02-00.jpg'
image = Image.open(requests.get(url, stream=True).raw).convert("RGB")
processor = TrOCRProcessor.from_pretrained('microsoft/trocr-small-handwritten')
model = VisionEncoderDecoderModel.from_pretrained('microsoft/trocr-small-handwritten')
pixel_values = processor(images=image, return_tensors="pt").pixel_values
generated_ids = model.generate(pixel_values)
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]
BibTeX引用
@misc{li2021trocr,
title={TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models},
author={Minghao Li and Tengchao Lv and Lei Cui and Yijuan Lu and Dinei Florencio and Cha Zhang and Zhoujun Li and Furu Wei},
year={2021},
eprint={2109.10282},
archivePrefix={arXiv},
primaryClass={cs.CL}
}