🚀 legal_t5_small_trans_fr_es模型
这是一个用于将法语法律文本翻译成西班牙语的模型,为法律文本的跨语言交流提供了高效解决方案。
🚀 快速开始
legal_t5_small_trans_fr_es模型可用于将法语法律文本翻译成西班牙语。它首次发布于 此仓库,并在来自jrc - acquis、europarl和dcep的三个平行语料库上进行了训练。
✨ 主要特性
- 基于
t5 - small
模型构建,在大规模平行文本语料库上进行训练。
- 是一个较小的模型,通过使用
dmodel = 512
、dff = 2,048
、8头注意力机制,且编码器和解码器各仅6层,对t5的基线模型进行了缩放。
- 该变体约有6000万个参数。
📦 安装指南
使用此模型前,需安装相关依赖库,可使用以下命令安装:
pip install transformers
💻 使用示例
基础用法
以下是如何在PyTorch中使用该模型将法语法律文本翻译成西班牙语的示例:
from transformers import AutoTokenizer, AutoModelWithLMHead, TranslationPipeline
pipeline = TranslationPipeline(
model=AutoModelWithLMHead.from_pretrained("SEBIS/legal_t5_small_trans_fr_es"),
tokenizer=AutoTokenizer.from_pretrained(pretrained_model_name_or_path = "SEBIS/legal_t5_small_trans_fr_es", do_lower_case=False,
skip_special_tokens=True),
device=0
)
fr_text = "commission des libertés civiles, de la justice et des affaires intérieures"
pipeline([fr_text], max_length=512)
📚 详细文档
训练数据
legal_t5_small_trans_fr_es模型在 [JRC - ACQUIS](https://wt - public.emm4u.eu/Acquis/index_2.2.html)、EUROPARL 和 [DCEP](https://ec.europa.eu/jrc/en/language - technologies/dcep) 数据集上进行训练,这些数据集包含500万条平行文本。
训练过程
- 该模型在单个TPU Pod V3 - 8上总共训练了250K步,使用序列长度512(批量大小4096)。
- 它总共有约2.2亿个参数,并使用编码器 - 解码器架构进行训练。
- 使用的优化器是AdaFactor,并采用平方根倒数学习率调度进行预训练。
预处理
通过对平行语料库(所有可能的语言对)中的8800万行文本进行训练,得到一个一元模型,以获取词汇表(使用字节对编码),该词汇表用于此模型。
评估结果
当该模型用于翻译测试数据集时,取得了以下结果:
模型 |
BLEU分数 |
legal_t5_small_trans_fr_es |
51.16 |
BibTeX引用和引用信息
由 Ahmed Elnaggar/@Elnaggar_AI 创建 | [LinkedIn](https://www.linkedin.com/in/prof - ahmed - elnaggar/)