Trocr Finetuned 20250422 125947

🚀 用于葡萄牙语的微调TrOCR模型

本仓库包含一个专门针对葡萄牙语文本的光学字符识别（OCR）任务进行微调的TrOCR模型。该模型基于 microsoft/trocr-base-printed 模型，并在葡萄牙语文本图像数据集上进行了进一步训练。

✨ 主要特性

• 专为葡萄牙语文本的OCR任务设计。
• 基于Hugging Face Transformers库的VisionEncoderDecoderModel，结合视觉编码器和文本解码器。
• 可用于多种应用场景，如数字化葡萄牙语书籍和文档、自动化处理葡萄牙语表单和发票的数据录入等。

📦 安装指南

安装依赖

bash pip install transformers datasets Pillow requests

💻 使用示例

基础用法

# 加载模型和处理器
from transformers import VisionEncoderDecoderModel, TrOCRProcessor
from PIL import Image

model = VisionEncoderDecoderModel.from_pretrained("mazafard/trocr-finetuned_20250422_125947") 
processor = TrOCRProcessor.from_pretrained("mazafard/trocr-finetuned_20250422_125947") 

image = Image.open("path/to/your/image.png").convert("RGB")

pixel_values = processor(image, return_tensors="pt").pixel_values

# 生成预测
generated_ids = model.generate(pixel_values)
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]

print(generated_text)

📚 详细文档

模型描述

该模型是Hugging Face Transformers库中的VisionEncoderDecoderModel，它结合了视觉编码器（用于处理图像）和文本解码器（用于生成文本）以完成OCR任务。

预期用途

此模型旨在从包含葡萄牙语文本的图像中提取文本，可用于以下各种应用：

• 数字化葡萄牙语书籍和文档。
• 自动化处理葡萄牙语表单和发票的数据录入。
• 从葡萄牙语截图或扫描图像中提取信息。

局限性

• 该模型在手写文本或具有不常见字体或样式的文本上可能表现不佳。
• 在处理复杂布局或低质量图像时可能会出错。

训练详情

training_args = TrainingArguments(
    output_dir="./trocr-finetuned",
    per_device_train_batch_size=56,
    num_train_epochs=3,
    save_steps=500,
    logging_steps=50,
    learning_rate=5e-5,
    gradient_accumulation_steps=2,
    fp16=True,
    save_total_limit=2,
    remove_unused_columns=False,
    dataloader_num_workers=2,
)

评估

文档未提供相关评估内容。

致谢

此模型基于微软的TrOCR模型。

📄 许可证

本模型采用MIT许可证。