Legal T5 Small Multitask Cs It

🚀 legal_t5_small_multitask_cs_it 模型

这是一个用于将捷克语法律文本翻译成意大利语的模型，为法律文本的跨语言交流提供了高效的解决方案。

🚀 快速开始

legal_t5_small_multitask_cs_it 模型用于将捷克语法律文本翻译成意大利语。它首次发布于 此仓库。该模型在来自 JRC-ACQUIS、EUROPARL 和 DCEP 的三个平行语料库上进行并行训练，涵盖 42 种语言对，同时还进行了无监督任务，即遵循掩码语言模型的预测任务。

✨ 主要特性

• 无需预训练，而是将无监督任务与所有翻译任务相结合，实现多任务学习场景。
• 可用于将捷克语法律文本翻译成意大利语。

📦 安装指南

暂未提及安装步骤，可参考相关依赖库的安装方法。

💻 使用示例

基础用法

以下是如何在 PyTorch 中使用该模型将捷克语法律文本翻译成意大利语的示例：

from transformers import AutoTokenizer, AutoModelWithLMHead, TranslationPipeline

pipeline = TranslationPipeline(
model=AutoModelWithLMHead.from_pretrained("SEBIS/legal_t5_small_multitask_cs_it"),
tokenizer=AutoTokenizer.from_pretrained(pretrained_model_name_or_path = "SEBIS/legal_t5_small_multitask_cs_it", do_lower_case=False, 
                                            skip_special_tokens=True),
    device=0
)

cs_text = "Příprava Evropské rady (29.-30. října 2009)"

pipeline([cs_text], max_length=512)

📚 详细文档

训练数据

legal_t5_small_multitask_cs_it 模型（监督任务仅涉及相应的语言对，无监督任务则可使用所有语言对的数据）在 JRC-ACQUIS、EUROPARL 和 DCEP 数据集上进行训练，这些数据集包含 500 万条平行文本。

训练过程

该模型在单个 TPU Pod V3 - 8 上总共训练了 250K 步，使用序列长度为 512（批量大小为 4096）。它总共有约 2.2 亿个参数，并使用编码器 - 解码器架构进行训练。使用的优化器是 AdaFactor，学习率采用逆平方根调度。

预处理

使用从平行语料库（所有可能的语言对）中 8800 万行文本训练的一元模型来获取词汇表（使用字节对编码），该词汇表用于此模型。

评估结果

当使用该模型进行翻译测试数据集时，取得了以下结果：

BibTeX 引用和引用信息

由 Ahmed Elnaggar/@Elnaggar_AI 创建 | LinkedIn