Trocr Small Korean

🚀 小尺寸韩语TrOCR模型

TrOCR是一种图像转文本模型，结合图像和文本Transformer，实现图像到文本的高效转换

🚀 快速开始

TrOCR是一个编码器 - 解码器模型，由图像Transformer编码器和文本Transformer解码器组成。图像编码器使用DeiT权重进行初始化，而文本解码器则使用自行训练的RoBERTa权重初始化。

本研究使用由谷歌TPU研究云（TRC）支持的Cloud TPU进行模型训练。

代码示例

import torch

from transformers import VisionEncoderDecoderModel

model = VisionEncoderDecoderModel.from_pretrained("team-lucid/trocr-small-korean")

pixel_values = torch.rand(1, 3, 384, 384)
generated_ids = model.generate(pixel_values)

📚 详细文档

📦 安装指南

文档未提供安装步骤，可参考transformers库的官方安装说明进行安装。

💻 使用示例

基础用法

import torch

from transformers import VisionEncoderDecoderModel

model = VisionEncoderDecoderModel.from_pretrained("team-lucid/trocr-small-korean")

pixel_values = torch.rand(1, 3, 384, 384)
generated_ids = model.generate(pixel_values)

🔧 技术细节

训练数据

该模型使用由synthtiger合成的600万个图像进行训练。

训练超参数

📄 许可证

本项目采用Apache-2.0许可证。