SSE TUC Mt El En Cased

🚀 希臘語到英語神經機器翻譯模型

本項目由希臘陸軍學院（SSE）和克里特技術大學（TUC）聯合打造，旨在實現高效準確的希臘語到英語的翻譯。該模型採用先進的技術架構和大量的訓練數據，為希臘語到英語的翻譯任務提供了強大的支持。

🚀 快速開始

代碼示例

from transformers import FSMTTokenizer, FSMTForConditionalGeneration

mname = "lighteternal/SSE-TUC-mt-el-en-cased"

tokenizer = FSMTTokenizer.from_pretrained(mname)
model = FSMTForConditionalGeneration.from_pretrained(mname)

text = "Ο όρος τεχνητή νοημοσύνη αναφέρεται στον κλάδο της πληροφορικής ο οποίος ασχολείται με τη σχεδίαση και την υλοποίηση υπολογιστικών συστημάτων που μιμούνται στοιχεία της ανθρώπινης συμπεριφοράς ."

encoded = tokenizer.encode(text, return_tensors='pt')

outputs = model.generate(encoded, num_beams=5, num_return_sequences=5, early_stopping=True)
for i, output in enumerate(outputs):
    i += 1
    print(f"{i}: {output.tolist()}")
    
    decoded = tokenizer.decode(output, skip_special_tokens=True)
    print(f"{i}: {decoded}")

✨ 主要特性

• 多語言支持：源語言為希臘語（el），目標語言為英語（en）。
• 開源許可：採用Apache-2.0許可證。
• 豐富數據集：使用Opus和CCmatrix數據集進行訓練。
• 先進模型架構：基於Transformer（fairseq）架構。
• 預處理技術：採用分詞和BPE分割進行預處理。
• 多評估指標：使用BLEU和chrF等評估指標。

📦 安裝指南

文檔未提及具體安裝步驟，可參考transformers庫的官方文檔進行安裝。

📚 詳細文檔

模型描述

• 採用Fairseq框架進行訓練，使用transformer_iwslt_de_en架構。
• 進行BPE分割（20k代碼）。
• 大小寫混合模型。

訓練數據

使用來自Opus和CC-Matrix的合併語料庫（總計約6.6GB）進行訓練。

評估結果

Tatoeba測試集（EL - EN）

XNLI平行語料（EL - EN）

BibTeX引用

Dimitris Papadopoulos, et al. "PENELOPIE: Enabling Open Information Extraction for the Greek Language through Machine Translation." (2021). Accepted at EACL 2021 SRW

致謝

本研究工作得到了希臘研究與創新基金會（HFRI）的支持，獲得了HFRI博士獎學金（獎學金編號：50，第二輪）。

📄 許可證

本項目採用Apache-2.0許可證。