Marianmt Th Zh Cn

🚀 marianmt-th-zh_cn

marianmt-th-zh_cn 是一個翻譯模型，支持從泰語（th）到中文（zh_cn）的翻譯，具備特定的預處理和訓練流程。

✨ 主要特性

• 源語言：泰語（th）
• 目標語言：中文（zh_cn）
• 模型類型：transformer-align
• 預處理：歸一化 + SentencePiece
• 測試集得分：15.53

📦 安裝指南

transformers==4.6.0
torch==1.8.0

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
 
tokenizer = AutoTokenizer.from_pretrained("Lalita/marianmt-zh_cn-th")
model = AutoModelForSeq2SeqLM.from_pretrained("Lalita/marianmt-zh_cn-th").cpu()

src_text = [
    'ฉันรักคุณ',
    'ฉันอยากกินข้าว',
]
translated = model.generate(**tokenizer(src_text, return_tensors="pt", padding=True))
print([tokenizer.decode(t, skip_special_tokens=True) for t in translated])

> ['我愛你', '我想吃飯。']

🔧 技術細節

訓練

訓練腳本來自 LalitaDeelert/NLP-ZH_TH-Project。實驗跟蹤地址為 cstorm125/marianmt-th-zh_cn。

export WANDB_PROJECT=marianmt-th-zh_cn
python train_model.py --input_fname ../data/v1/Train.csv \
    --output_dir ../models/marianmt-th-zh_cn \
    --source_lang th --target_lang zh \
    --metric_tokenize zh --fp16