T5 Small Spanish Nahuatl

🚀 t5-small-spanish-nahuatl

本模型是一个用于西班牙语和纳瓦特尔语翻译的模型，基于T5 Transformer架构微调而来，能有效实现两种语言间的翻译任务。

🚀 快速开始

本模型可借助transformers库进行加载和使用，以下是使用示例：

from transformers import AutoModelForSeq2SeqLM
from transformers import AutoTokenizer

model = AutoModelForSeq2SeqLM.from_pretrained('milmor/t5-small-spanish-nahuatl')
tokenizer = AutoTokenizer.from_pretrained('milmor/t5-small-spanish-nahuatl')

model.eval()
sentence = 'muchas flores son blancas'
input_ids = tokenizer('translate Spanish to Nahuatl: ' + sentence, return_tensors='pt').input_ids
outputs = model.generate(input_ids)
# outputs = miak xochitl istak
outputs = tokenizer.batch_decode(outputs, skip_special_tokens=True)[0]

✨ 主要特性

• 本模型基于T5 Transformer（t5-small）架构微调，在29,007条西班牙语和纳瓦特尔语句子上进行训练。
• 训练数据包含从网络收集的12,890个样本以及Axolotl数据集中的16,117个样本。
• 数据集使用来自 py-elotl 的 'sep' 归一化方法进行归一化处理。

📚 详细文档

评估结果

模型在400条验证句子上进行评估，验证损失为1.36。

⚠️ 重要提示

由于Axolotl语料库存在多个未对齐的情况，实际验证损失会稍好一些。这些未对齐情况也会给训练带来一定的噪声。

参考文献

• Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J Liu. 2019. Exploring the limits of transfer learning with a unified Text-to-Text transformer.
• Ximena Gutierrez-Vasques, Gerardo Sierra, and Hernandez Isaac. 2016. Axolotl: a web accessible parallel corpus for Spanish-Nahuatl. In International Conference on Language Resources and Evaluation (LREC).

📄 许可证

本模型采用Apache-2.0许可证。

本模型由 Emilio Morales 创建。