En Vi

🚀 CLAck/en-vi 英語 - ベトナム語翻訳モデル

このモデルは、英語 - 中国語で事前学習されたMarianMTを英語 - ベトナム語に微調整したものです。

🚀 クイックスタート

このモデルは、英語 - 中国語で事前学習されたMarianMTを英語 - ベトナム語に微調整したものです。学習は2段階で行われます。最初の段階（混合）では、英語 - 中国語と英語 - ベトナム語の両方の文章を含むデータセットで学習し、2段階目（純粋）では英語 - ベトナム語の文章のみを含むデータセットで学習します。

✨ 主な機能

• 英語からベトナム語への翻訳が可能です。
• 学習にはALTデータセットを使用しています。
• 評価指標としてsacrebleuを使用しています。

📦 インストール

%%capture
!pip install transformers transformers[sentencepiece]

💻 使用例

基本的な使用法

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
# ハブ上で利用可能な英語 - ベトナム語の事前学習モデルをダウンロード
model = AutoModelForSeq2SeqLM.from_pretrained("CLAck/en-vi")

tokenizer = AutoTokenizer.from_pretrained("CLAck/en-vi")
# モデルのトークナイザーが英語をトークナイズできないため、英語をトークナイズできるトークナイザーをダウンロード
# 最初のモデルからのものを使用
# このトークナイザーは入力文をトークナイズするために使用されます
tokenizer_en = AutoTokenizer.from_pretrained('Helsinki-NLP/opus-mt-en-zh')
# 元のトークナイザーを再現するためにこれらの特殊トークンが必要です
tokenizer_en.add_tokens(["<2zh>", "<2vi>"], special_tokens=True)

sentence = "The cat is on the table"
# ターゲット言語を識別するためにこのトークンが必要です
input_sentence = "<2vi> " + sentence 
translated = model.generate(**tokenizer_en(input_sentence, return_tensors="pt", padding=True))
output_sentence = [tokenizer.decode(t, skip_special_tokens=True) for t in translated]

📚 ドキュメント

学習結果

混合データセット

純粋データセット

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。