T5 Translate Vietnamese Nom

🚀 双方向ベトナム語ノム文字翻訳

ベトナム語ノム文字（Chữ Nôm）は、20世紀以前にベトナムで使用されていた古代の表記システムです。中国文字から進化し、ベトナム語の音や語彙に適応しました。ノム文字は学者たちによって文学やコミュニケーションに使用されました。この文字は外見上中国文字と異なり、意味と音韻の要素を持ってベトナム語の概念を表現します。現在、ノム文字は専門分野となっており、その知識を保存するための取り組みが行われています。現代ベトナム語はラテン文字を使用していますが、ノム文字はベトナムの文化遺産の重要な一部をなしています。

✨ 主な機能

ベトナム語ノム文字翻訳に最適化された、最先端の軽量事前学習トランスフォーマーベースのエンコーダ・デコーダモデルです。

このモデルは、「Luc-Van-Tienの物語」「キエウの物語」「大ベトナム史」「治府吟曲」の詩、「ホ・キュアン・フォン」の詩、chunom.orgのコーパス文書、130冊の異なる書籍（Tu-Dien-Chu-Nom-Dan Giai）からのサンプルテキストなどのデータセットで学習されています。

このモデルは、ベトナム語ノム文字とベトナム語ラテン文字の双方向翻訳をサポートしており、ノム文字からベトナム語ラテン文字へ、またその逆の翻訳が可能です。

📦 インストール

このセクションでは、必要なライブラリをインストールする方法を説明します。

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
tokenizer = AutoTokenizer.from_pretrained("minhtoan/t5-translate-vietnamese-nom")  
model = AutoModelForSeq2SeqLM.from_pretrained("minhtoan/t5-translate-vietnamese-nom")
model.cuda()
src = "如梅早杏遲管"
tokenized_text = tokenizer.encode(src, return_tensors="pt").cuda()
model.eval()
translate_ids = model.generate(tokenized_text, max_length=48)
output = tokenizer.decode(translate_ids[0], skip_special_tokens=True)
output

実行結果: 'như mai tảo hạnh trì quán'

高度な使用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
tokenizer = AutoTokenizer.from_pretrained("minhtoan/t5-translate-vietnamese-nom")  
model = AutoModelForSeq2SeqLM.from_pretrained("minhtoan/t5-translate-vietnamese-nom")
model.cuda()
src = "như mai tảo hạnh trì quán"
tokenized_text = tokenizer.encode(src, return_tensors="pt").cuda()
model.eval()
translate_ids = model.generate(tokenized_text, max_length=48)
output = tokenizer.decode(translate_ids[0], skip_special_tokens=True)
output

実行結果: '如梅早杏遲舘'

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

👨‍💻 作者

Phan Minh Toan