Trocr Small Korean

🚀 小尺寸韓語TrOCR模型

TrOCR是一種圖像轉文本模型，結合圖像和文本Transformer，實現圖像到文本的高效轉換

🚀 快速開始

TrOCR是一個編碼器 - 解碼器模型，由圖像Transformer編碼器和文本Transformer解碼器組成。圖像編碼器使用DeiT權重進行初始化，而文本解碼器則使用自行訓練的RoBERTa權重初始化。

本研究使用由谷歌TPU研究雲（TRC）支持的Cloud TPU進行模型訓練。

代碼示例

import torch

from transformers import VisionEncoderDecoderModel

model = VisionEncoderDecoderModel.from_pretrained("team-lucid/trocr-small-korean")

pixel_values = torch.rand(1, 3, 384, 384)
generated_ids = model.generate(pixel_values)

📚 詳細文檔

📦 安裝指南

文檔未提供安裝步驟，可參考transformers庫的官方安裝說明進行安裝。

💻 使用示例

基礎用法

import torch

from transformers import VisionEncoderDecoderModel

model = VisionEncoderDecoderModel.from_pretrained("team-lucid/trocr-small-korean")

pixel_values = torch.rand(1, 3, 384, 384)
generated_ids = model.generate(pixel_values)

🔧 技術細節

訓練數據

該模型使用由synthtiger合成的600萬個圖像進行訓練。

訓練超參數

📄 許可證

本項目採用Apache-2.0許可證。