SSE TUC Mt El En Cased

🚀 希腊语到英语神经机器翻译模型

本项目由希腊陆军学院（SSE）和克里特技术大学（TUC）联合打造，旨在实现高效准确的希腊语到英语的翻译。该模型采用先进的技术架构和大量的训练数据，为希腊语到英语的翻译任务提供了强大的支持。

🚀 快速开始

代码示例

from transformers import FSMTTokenizer, FSMTForConditionalGeneration

mname = "lighteternal/SSE-TUC-mt-el-en-cased"

tokenizer = FSMTTokenizer.from_pretrained(mname)
model = FSMTForConditionalGeneration.from_pretrained(mname)

text = "Ο όρος τεχνητή νοημοσύνη αναφέρεται στον κλάδο της πληροφορικής ο οποίος ασχολείται με τη σχεδίαση και την υλοποίηση υπολογιστικών συστημάτων που μιμούνται στοιχεία της ανθρώπινης συμπεριφοράς ."

encoded = tokenizer.encode(text, return_tensors='pt')

outputs = model.generate(encoded, num_beams=5, num_return_sequences=5, early_stopping=True)
for i, output in enumerate(outputs):
    i += 1
    print(f"{i}: {output.tolist()}")
    
    decoded = tokenizer.decode(output, skip_special_tokens=True)
    print(f"{i}: {decoded}")

✨ 主要特性

• 多语言支持：源语言为希腊语（el），目标语言为英语（en）。
• 开源许可：采用Apache-2.0许可证。
• 丰富数据集：使用Opus和CCmatrix数据集进行训练。
• 先进模型架构：基于Transformer（fairseq）架构。
• 预处理技术：采用分词和BPE分割进行预处理。
• 多评估指标：使用BLEU和chrF等评估指标。

📦 安装指南

文档未提及具体安装步骤，可参考transformers库的官方文档进行安装。

📚 详细文档

模型描述

• 采用Fairseq框架进行训练，使用transformer_iwslt_de_en架构。
• 进行BPE分割（20k代码）。
• 大小写混合模型。

训练数据

使用来自Opus和CC-Matrix的合并语料库（总计约6.6GB）进行训练。

评估结果

Tatoeba测试集（EL - EN）

XNLI平行语料（EL - EN）

BibTeX引用

Dimitris Papadopoulos, et al. "PENELOPIE: Enabling Open Information Extraction for the Greek Language through Machine Translation." (2021). Accepted at EACL 2021 SRW

致谢

本研究工作得到了希腊研究与创新基金会（HFRI）的支持，获得了HFRI博士奖学金（奖学金编号：50，第二轮）。

📄 许可证

本项目采用Apache-2.0许可证。