SSE TUC Mt El En Cased

🚀 ギリシャ語から英語へのニューラル機械翻訳

このプロジェクトは、ギリシャ語から英語への翻訳を行うニューラル機械翻訳モデルに関するものです。ヘレニック陸軍アカデミー（SSE）とクレタ工科大学（TUC）によって開発されています。

🚀 クイックスタート

このモデルを使用するには、以下の手順に従ってください。

from transformers import FSMTTokenizer, FSMTForConditionalGeneration

mname = "lighteternal/SSE-TUC-mt-el-en-cased"

tokenizer = FSMTTokenizer.from_pretrained(mname)
model = FSMTForConditionalGeneration.from_pretrained(mname)

text = "Ο όρος τεχνητή νοημοσύνη αναφέρεται στον κλάδο της πληροφορικής ο οποίος ασχολείται με τη σχεδίαση και την υλοποίηση υπολογιστικών συστημάτων που μιμούνται στοιχεία της ανθρώπινης συμπεριφοράς ."

encoded = tokenizer.encode(text, return_tensors='pt')

outputs = model.generate(encoded, num_beams=5, num_return_sequences=5, early_stopping=True)
for i, output in enumerate(outputs):
    i += 1
    print(f"{i}: {output.tolist()}")
    
    decoded = tokenizer.decode(output, skip_special_tokens=True)
    print(f"{i}: {decoded}")

✨ 主な機能

• ギリシャ語（el）から英語（en）への翻訳を行います。
• Apache-2.0ライセンスの下で公開されています。
• OpusとCCmatrixのデータセットを使用して訓練されています。
• Transformer（fairseq）アーキテクチャを使用しています。
• 前処理として、トークン化とBPEセグメンテーションを行っています。
• BLEUとchrfのメトリクスを使用して評価されています。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

📚 ドキュメント

モデルの説明

このモデルは、Fairseqフレームワークを使用してトレーニングされ、transformer_iwslt_de_enアーキテクチャを採用しています。BPEセグメンテーション（20kコード）を使用し、大文字小文字を区別するモデルです。

訓練データ

OpusとCC-Matrixから統合されたコーパス（合計約6.6GB）を使用して訓練されています。

評価結果

Tatoebaテストセット（EL-EN）とXNLI並列データセット（EL-EN）での評価結果は以下の通りです。

Tatoebaテストセット（EL-EN）

XNLI並列データセット（EL-EN）

BibTeXエントリと引用情報

Dimitris Papadopoulos, et al. "PENELOPIE: Enabling Open Information Extraction for the Greek Language through Machine Translation." (2021). Accepted at EACL 2021 SRW

謝辞

この研究は、ヘレニック研究・イノベーション財団（HFRI）のPhDフェローシップ助成金（フェローシップ番号: 50、第2回公募）によって支援されています。

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。