Mt5 Zh Ja En Trimmed

🚀 トリミング済みMT5多言語翻訳モデル

このモデルは、多言語翻訳タスクに特化したモデルです。mt5-base をファインチューニングし、語彙をトリミングすることで、効率的な翻訳を実現します。

🚀 クイックスタート

このモデルは、mt5-base をベースにファインチューニングされています。モデルの語彙は、学習データ中の上位85000トークンを選択することで、約1/3にトリミングされています。語彙をトリミングするコードは こちら で確認できます。

💻 使用例

基本的な使用法

from transformers import (
  T5Tokenizer,
  MT5ForConditionalGeneration,
  Text2TextGenerationPipeline,
)

path = "K024/mt5-zh-ja-en-trimmed"
pipe = Text2TextGenerationPipeline(
  model=MT5ForConditionalGeneration.from_pretrained(path),
  tokenizer=T5Tokenizer.from_pretrained(path),
)

sentence = "ja2zh: 吾輩は猫である。名前はまだ無い。"
res = pipe(sentence, max_length=100, num_beams=4)
res[0]['generated_text']

🔧 技術詳細

モデルの語彙は、学習データ中の上位85000トークンを選択することで、約1/3にトリミングされています。これにより、モデルのサイズを削減し、推論速度を向上させることができます。

📦 学習データ

wikimedia-en-ja
wikimedia-en-zh
wikimedia-ja-zh
wikititles-ja-en
wikititles-zh-en
wikimatrix-ja-zh
news-commentary-en-ja
news-commentary-en-zh
news-commentary-ja-zh
ted2020-en-ja
ted2020-en-zh
ted2020-ja-zh

📄 ライセンス

このモデルは CC BY-NC-SA 4.0 ライセンスの下で提供されています。