Trocr Math Handwritten

🚀 TrOCR_Math_handwritten模型卡片

TrOCR_Math_handwritten是一個經過微調的模型，可用於圖像到文本的轉換，尤其適用於識別包含數學公式的手寫內容，為光學字符識別領域提供了強大的支持。

🚀 快速開始

以下是如何在PyTorch中使用此模型的示例：

from transformers import TrOCRProcessor, VisionEncoderDecoderModel
from PIL import Image
import requests

url = "path/to/image"
image = Image.open(requests.get(url, stream=True).raw).convert("RGB")
processor = TrOCRProcessor.from_pretrained('fhswf/TrOCR_Math_handwritten')
model = VisionEncoderDecoderModel.from_pretrained('fhswf/TrOCR_Math_handwritten')
pixel_values = processor(images=image, return_tensors="pt").pixel_values
generated_ids = model.generate(pixel_values)
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]

✨ 主要特性

• 基於TrOCR模型，在部分mathwriting數據集上進行微調，該數據集由InkML文件轉換為圖像。
• 可用於對包含一個數學公式的圖像進行光學字符識別（OCR）。

📚 詳細文檔

模型詳情

TrOCR模型在部分mathwriting數據集上進行了微調，該數據集由InkML文件轉換為圖像。此模型由Li等人在論文TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models中提出，並首次在this repository中發佈。

• 開發者：[需要更多信息]
• 模型類型：Transformer OCR
• 許可證：afl - 3.0
• 微調基礎模型（可選）：TrOCR_large_stage1

應用場景

可以使用此原始模型對包含一個數學公式的圖像進行光學字符識別（OCR）。

訓練詳情

訓練數據

該模型在部分mathwriting數據集上進行了微調，該數據集由InkML文件轉換為圖像。

評估

• 正確識別率：77.8%
• 允許一個錯誤的正確識別率：85.7%
• 允許兩個錯誤的正確識別率：89.9%

引用信息

@misc{li2021trocr,
      title={TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models}, 
      author={Minghao Li and Tengchao Lv and Lei Cui and Yijuan Lu and Dinei Florencio and Cha Zhang and Zhoujun Li and Furu Wei},
      year={2021},
      eprint={2109.10282},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 許可證

本模型使用的許可證為afl - 3.0。