T5 Small Spanish Nahuatl

🚀 t5-small-spanish-nahuatl

本模型是一個用於西班牙語和納瓦特爾語翻譯的模型，基於T5 Transformer架構微調而來，能有效實現兩種語言間的翻譯任務。

🚀 快速開始

本模型可藉助transformers庫進行加載和使用，以下是使用示例：

from transformers import AutoModelForSeq2SeqLM
from transformers import AutoTokenizer

model = AutoModelForSeq2SeqLM.from_pretrained('milmor/t5-small-spanish-nahuatl')
tokenizer = AutoTokenizer.from_pretrained('milmor/t5-small-spanish-nahuatl')

model.eval()
sentence = 'muchas flores son blancas'
input_ids = tokenizer('translate Spanish to Nahuatl: ' + sentence, return_tensors='pt').input_ids
outputs = model.generate(input_ids)
# outputs = miak xochitl istak
outputs = tokenizer.batch_decode(outputs, skip_special_tokens=True)[0]

✨ 主要特性

• 本模型基於T5 Transformer（t5-small）架構微調，在29,007條西班牙語和納瓦特爾語句子上進行訓練。
• 訓練數據包含從網絡收集的12,890個樣本以及Axolotl數據集中的16,117個樣本。
• 數據集使用來自 py-elotl 的 'sep' 歸一化方法進行歸一化處理。

📚 詳細文檔

評估結果

模型在400條驗證句子上進行評估，驗證損失為1.36。

⚠️ 重要提示

由於Axolotl語料庫存在多個未對齊的情況，實際驗證損失會稍好一些。這些未對齊情況也會給訓練帶來一定的噪聲。

參考文獻

• Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J Liu. 2019. Exploring the limits of transfer learning with a unified Text-to-Text transformer.
• Ximena Gutierrez-Vasques, Gerardo Sierra, and Hernandez Isaac. 2016. Axolotl: a web accessible parallel corpus for Spanish-Nahuatl. In International Conference on Language Resources and Evaluation (LREC).

📄 許可證

本模型採用Apache-2.0許可證。

本模型由 Emilio Morales 創建。