Trocr Medieval Latin Caroline

🚀 中世紀拉丁卡羅琳字體TROcr模型

這是一個用於中世紀拉丁語，特別是卡羅琳字體的TROcr模型。該模型能將中世紀拉丁語的卡羅琳字體圖像轉換為文本，為研究中世紀文獻提供了便利。

🚀 快速開始

本模型是基於microsoft/trocr-base-handwritten基礎模型，利用CATMuS數據集中的示例進行微調得到的。不過該模型尚未經過正式測試，初步檢查表明還需要進一步微調。微調使用的是本倉庫中的finetune.py文件。

✨ 主要特性

• 針對性強：專門針對中世紀拉丁語的卡羅琳字體進行優化。
• 基於預訓練模型：以microsoft/trocr-base-handwritten為基礎，提升訓練效率。

📦 安裝

文檔未提及安裝步驟，暫不展示。

💻 使用示例

基礎用法

from transformers import TrOCRProcessor, VisionEncoderDecoderModel
from PIL import Image
import requests

# load image from the IAM database
https://huggingface.co/medieval-data/trocr-medieval-latin-caroline/resolve/main/images/heldout1.png
image = Image.open(requests.get(url, stream=True).raw).convert("RGB")

processor = TrOCRProcessor.from_pretrained('medieval-data/trocr-medieval-latin-caroline')
model = VisionEncoderDecoderModel.from_pretrained('medieval-data/trocr-medieval-latin-caroline')
pixel_values = processor(images=image, return_tensors="pt").pixel_values

generated_ids = model.generate(pixel_values)
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]

高級用法

文檔未提及高級用法相關代碼，暫不展示。

📚 詳細文檔

文檔未提及詳細文檔內容，暫不展示。

🔧 技術細節

文檔未提及技術實現細節，暫不展示。

📄 許可證

本項目採用MIT許可證。

📖 引用信息

TrOCR論文

@misc{li2021trocr,
      title={TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models}, 
      author={Minghao Li and Tengchao Lv and Lei Cui and Yijuan Lu and Dinei Florencio and Cha Zhang and Zhoujun Li and Furu Wei},
      year={2021},
      eprint={2109.10282},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

CATMuS論文

@unpublished{clerice:hal-04453952,
  TITLE = {{CATMuS Medieval: A multilingual large-scale cross-century dataset in Latin script for handwritten text recognition and beyond}},
  AUTHOR = {Cl{\'e}rice, Thibault and Pinche, Ariane and Vlachou-Efstathiou, Malamatenia and Chagu{\'e}, Alix and Camps, Jean-Baptiste and Gille-Levenson, Matthias and Brisville-Fertin, Olivier and Fischer, Franz and Gervers, Michaels and Boutreux, Agn{\`e}s and Manton, Avery and Gabay, Simon and O'Connor, Patricia and Haverals, Wouter and Kestemont, Mike and Vandyck, Caroline and Kiessling, Benjamin},
  URL = {https://inria.hal.science/hal-04453952},
  NOTE = {working paper or preprint},
  YEAR = {2024},
  MONTH = Feb,
  KEYWORDS = {Historical sources ; medieval manuscripts ; Latin scripts ; benchmarking dataset ; multilingual ; handwritten text recognition},
  PDF = {https://inria.hal.science/hal-04453952/file/ICDAR24___CATMUS_Medieval-1.pdf},
  HAL_ID = {hal-04453952},
  HAL_VERSION = {v1},
}

⚠️ 重要提示

該模型尚未經過正式測試，初步檢查表明還需要進一步微調。

💡 使用建議

若要對模型進行微調，可使用本倉庫中的finetune.py文件。