Mt5 Zh Ja En Trimmed

🚀 多語言翻譯模型

本項目是一個支持中文、日文和英文的翻譯模型，基於預訓練模型微調而來，能夠實現不同語言間的文本翻譯，為跨語言交流提供便利。

🚀 快速開始

本模型基於 mt5-base 進行微調。模型詞彙表通過選擇訓練數據中前 85000 個標記進行修剪，約為原詞彙表的 1/3。詞彙表修剪代碼可在 此處 找到。

💻 使用示例

基礎用法

from transformers import (
  T5Tokenizer,
  MT5ForConditionalGeneration,
  Text2TextGenerationPipeline,
)

path = "K024/mt5-zh-ja-en-trimmed"
pipe = Text2TextGenerationPipeline(
  model=MT5ForConditionalGeneration.from_pretrained(path),
  tokenizer=T5Tokenizer.from_pretrained(path),
)

sentence = "ja2zh: 吾輩は貓である。名前はまだ無い。"
res = pipe(sentence, max_length=100, num_beams=4)
res[0]['generated_text']

🔧 技術細節

模型詞彙表進行了修剪操作，選擇訓練數據中前 85000 個標記，將詞彙表規模縮減至約原來的 1/3，這樣可以在一定程度上減少模型的計算量和存儲需求，同時可能提高模型在特定任務上的性能。

📄 許可證

本項目採用 CC BY-NC-SA 4.0 許可協議。

📦 訓練數據