Marianmt Th Zh Cn

🚀 marianmt-th-zh_cn

• このプロジェクトは、タイ語（th）から中国語（zh_cn）への翻訳モデルを提供します。
• モデルはtransformer-alignを使用し、前処理には正規化とSentencePieceを行っています。

🚀 クイックスタート

このモデルの使用方法やトレーニング手順を以下に説明します。

✨ 主な機能

• ソース言語: タイ語（th）
• ターゲット言語: 中国語（zh_cn）
• データセット: 未指定
• モデル: transformer-align
• 前処理: 正規化 + SentencePiece
• テストセットのスコア: 15.53

📦 インストール

必要なライブラリをインストールします。

transformers==4.6.0
torch==1.8.0

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
 
tokenizer = AutoTokenizer.from_pretrained("Lalita/marianmt-zh_cn-th")
model = AutoModelForSeq2SeqLM.from_pretrained("Lalita/marianmt-zh_cn-th").cpu()

src_text = [
    'ฉันรักคุณ',
    'ฉันอยากกินข้าว',
]
translated = model.generate(**tokenizer(src_text, return_tensors="pt", padding=True))
print([tokenizer.decode(t, skip_special_tokens=True) for t in translated])

> ['我爱你', '我想吃饭。']

🔧 技術詳細

トレーニングスクリプトはLalitaDeelert/NLP-ZH_TH-Projectから取得できます。実験の追跡はcstorm125/marianmt-th-zh_cnで行われています。

export WANDB_PROJECT=marianmt-th-zh_cn
python train_model.py --input_fname ../data/v1/Train.csv \\\\\\\\
\\\\t--output_dir ../models/marianmt-th-zh_cn \\\\\\\\
\\\\t--source_lang th --target_lang zh \\\\\\\\
\\\\t--metric_tokenize zh --fp16