Mbart Ja En

🚀 mbart-ja-en

このモデルは翻訳タスクに特化したもので、facebook/mbart-large-cc25をベースにJESC datasetでファインチューニングすることで、日本語と英語間の翻訳性能を向上させています。

🚀 クイックスタート

このモデルはfacebook/mbart-large-cc25をベースにJESC datasetでファインチューニングしたものです。
This model is based on facebook/mbart-large-cc25 and fine-tuned with JESC dataset.

💻 使用例

基本的な使用法

from transformers import (
    MBartForConditionalGeneration, MBartTokenizer
)

tokenizer = MBartTokenizer.from_pretrained("ken11/mbart-ja-en")
model = MBartForConditionalGeneration.from_pretrained("ken11/mbart-ja-en")

inputs = tokenizer("こんにちは", return_tensors="pt")
translated_tokens = model.generate(**inputs, decoder_start_token_id=tokenizer.lang_code_to_id["en_XX"], early_stopping=True, max_length=48)
pred = tokenizer.batch_decode(translated_tokens, skip_special_tokens=True)[0]
print(pred)

📚 ドキュメント

学習データ

学習にはJESC datasetを使用しました。
大規模なデータセットを公開してくれた皆様に感謝いたします。

トークナイザー

トークナイザーはsentencepieceを使用しており、JESCデータセットで学習されています。

評価結果

京都大学のJEC基本文データに対するsacrebleuスコアの評価結果は18.18でした。

📄 ライセンス

The MIT license