Fugumt En Ja

🚀 FuguMT

このプロジェクトは、Marian - NMTを使用した翻訳モデルです。英語から日本語への翻訳を行うことができ、詳細については私のリポジトリを参照してください。

🚀 クイックスタート

このモデルは、英語を入力として日本語に翻訳することができます。以下に使い方や評価結果を紹介します。

✨ 主な機能

• 英語から日本語への翻訳を行うことができます。
• transformersとsentencepieceを使用しています。
• 複数文の翻訳にはpySBDの使用を推奨しています。

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。

!pip install transformers sentencepiece

💻 使用例

基本的な使用法

このモデルはpipelineを使って直接利用することができます。

from transformers import pipeline
fugu_translator = pipeline('translation', model='staka/fugumt-en-ja')
fugu_translator('This is a cat.')

高度な使用法

複数の文を翻訳する場合は、pySBDの使用を推奨します。

!pip install transformers sentencepiece pysbd

import pysbd
seg_en = pysbd.Segmenter(language="en", clean=False)

from transformers import pipeline
fugu_translator = pipeline('translation', model='staka/fugumt-en-ja')
txt = 'This is a cat. It is very cute.'
print(fugu_translator(seg_en.segment(txt)))

📚 ドキュメント

評価結果

tatoebaを使用して（ランダムに500文選択）評価を行った結果は以下の通りです。

(*1) sacrebleu --tokenize ja-mecab

📄 ライセンス

このプロジェクトはCC - BY - SA 4.0ライセンスの下で公開されています。