Trocr Base Handwritten Ru

🚀 TrOCR-ru（基礎規模模型，在西里爾手寫數據集上微調）

TrOCR-ru 是由微軟開發的 TrOCR 模型，在 西里爾手寫數據集 上進行了微調。原始模型由 Li 等人在論文 TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models 中提出。該模型可用於圖像轉文字、OCR 以及手寫文字識別等任務。

✨ 主要特性

• 基於 TrOCR 架構，結合圖像 Transformer 編碼器和文本 Transformer 解碼器。
• 在西里爾手寫數據集上微調，對西里爾手寫文字有良好的識別效果。
• 可用於圖像到文本的轉換，適用於 OCR 任務。

📦 安裝指南

暫未提供安裝步驟相關內容。

💻 使用示例

基礎用法

from transformers import TrOCRProcessor, VisionEncoderDecoderModel
from PIL import Image
import requests

image = Image.open("<image file path or url>").convert("RGB")

processor = TrOCRProcessor.from_pretrained('kazars24/trocr-base-handwritten-ru')
model = VisionEncoderDecoderModel.from_pretrained('kazars24/trocr-base-handwritten-ru')

pixel_values = processor(images=image, return_tensors="pt").pixel_values
generated_ids = model.generate(pixel_values)
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]

📚 詳細文檔

模型詳情

模型描述

TrOCR 模型是一個編碼器 - 解碼器模型，由作為編碼器的圖像 Transformer 和作為解碼器的文本 Transformer 組成。圖像編碼器使用 BEiT 的權重進行初始化，而文本解碼器使用 RoBERTa 的權重進行初始化。

圖像以固定大小的塊序列（分辨率為 16x16）的形式呈現給模型，這些塊經過線性嵌入。在將序列輸入到 Transformer 編碼器的各層之前，還會添加絕對位置嵌入。然後，Transformer 文本解碼器自迴歸地生成標記。

訓練詳情

訓練數據

用於 OCR 任務的 西里爾手寫數據集，由 73830 個俄語手寫文本片段（裁剪圖像）組成，並分別以 95% 和 5% 的比例劃分為訓練集和測試集。該數據集由 SHIFT Lab CFT 提供。

更多信息請參閱 探索西里爾手寫數據集筆記本。

• 訓練示例數量：57827
• 驗證示例數量：14457

訓練超參數

• 訓練輪數：5 輪
• 採用默認超參數

評估指標

• 字符錯誤率（CER）

訓練結果

• 訓練損失：0.026100
• 驗證損失：0.120961
• 字符錯誤率（CER）：0.048542

🔧 技術細節

TrOCR 模型採用編碼器 - 解碼器架構，圖像編碼器基於 BEiT 初始化，文本解碼器基於 RoBERTa 初始化。圖像被分割成固定大小的塊並進行線性嵌入，同時添加絕對位置嵌入。文本解碼器自迴歸地生成標記。這種架構結合了圖像和文本的 Transformer 技術，能夠有效地處理圖像到文本的轉換任務。在訓練過程中，模型在西里爾手寫數據集上進行微調，以適應俄語手寫文字的識別。

📄 許可證

暫未提供許可證相關內容。