Prototype Tibetan To English Translation V1

🚀 藏英翻译模型

本模型是一个用于将藏文文学作品翻译成英文的神经机器翻译模型。它能够有效解决藏文到英文的翻译难题，为藏文文献的传播和交流提供了有力支持。

🚀 快速开始

本模型旨在作为大型 MLotsawa 软件中的翻译模型使用，但也可以在 Jupyter 笔记本或 Python 脚本中使用。

直接使用

若要使用此模型进行翻译，可使用以下代码：

from transformers import pipeline

translator = pipeline('translation', 'billingsmoore/tibetan-to-english-translation')

input_text = <your transliterated Tibetan text>

translation = translator(input_text)

print(translation)

下游使用

可以使用以下代码对模型进行进一步微调：

from datasets import load_dataset
from transformers import (
  AutoTokenizer, DataCollatorForSeq2Seq,
  AutoModelForSeq2SeqLM, Seq2SeqTrainingArguments,
  Seq2SeqTrainer, EarlyStoppingCallback, Adafactor
)
import evaluate
import numpy as np
from accelerate import Accelerator

data = load_dataset(<path_to_your_dataset>)

checkpoint = "billingsmoore/tibetan-to-english-translation"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
data_collator = DataCollatorForSeq2Seq(tokenizer=tokenizer, model=checkpoint)

source_lang = 'bo'
target_lang = 'en'
prefix = "translate Tibetan to English: "

def preprocess_function(examples):

    inputs = [prefix + example[source_lang] for example in examples['translation']]
    targets = [example[target_lang] for example in examples['translation']]
    
    model_inputs = tokenizer(inputs, text_target=targets, max_length=128, truncation=True)

    return model_inputs

tokenized_dataset = dataset.map(preprocess_function, batched=True)

metric = evaluate.load("sacrebleu")

def postprocess_text(preds, labels):
    preds = [pred.strip() for pred in preds]
    labels = [[label.strip()] for label in labels]

    return preds, labels


def compute_metrics(eval_preds):
    preds, labels = eval_preds
    if isinstance(preds, tuple):
        preds = preds[0]
    decoded_preds = tokenizer.batch_decode(preds, skip_special_tokens=True)

    labels = np.where(labels != -100, labels, tokenizer.pad_token_id)
    decoded_labels = tokenizer.batch_decode(labels, skip_special_tokens=True)

    decoded_preds, decoded_labels = postprocess_text(decoded_preds, decoded_labels)

    result = metric.compute(predictions=decoded_preds, references=decoded_labels)
    result = {"bleu": result["score"]}

    prediction_lens = [np.count_nonzero(pred != tokenizer.pad_token_id) for pred in preds]
    result["gen_len"] = np.mean(prediction_lens)
    result = {k: round(v, 4) for k, v in result.items()}
    return result

early_stop = EarlyStoppingCallback()

model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint, device_map="auto")

optimizer = Adafactor(
    model.parameters(), 
    scale_parameter=True, 
    relative_step=False, 
    warmup_init=False, 
    lr=3e-4
)

training_args = Seq2SeqTrainingArguments(
    output_dir=".",
    auto_find_batch_size=True,
    predict_with_generate=True,
    fp16=False, #check this
    push_to_hub=False,
    eval_strategy='epoch',
    save_strategy='epoch',
    load_best_model_at_end=True
)

trainer = Seq2SeqTrainer(
    model=model,
    args=training_args,
    train_dataset=tokenized_dataset['train'],
    eval_dataset=tokenized_dataset['test'],
    tokenizer=tokenizer,
    optimizers=(optimizer, None),
    data_collator=data_collator,
    compute_metrics=compute_metrics,
    callbacks=[early_stop]
)

trainer.train()

✨ 主要特性

• 支持将藏文文本（无论是藏文脚本还是根据 THL 简化语音音译的转写文本）作为输入，并输出英文翻译。
• 可作为 MLotsawa 软件中的翻译模型，也能在 Jupyter 笔记本或 Python 脚本中独立使用。

📦 安装指南

文档未提及安装步骤，暂不展示。

📚 详细文档

模型详情

模型描述

本模型是一个经过微调的 T5 模型，拥有 7.7 亿个参数。

模型来源

• 仓库地址：GitHub 上的 MLotsawa

训练详情

训练数据

本项目的训练数据可在此处获取。 该数据集包含 100,000 对句子或短语。每对中的第一个成员是古典藏语的句子或短语，第二个成员是其英文翻译。这些句子对来自 Lotsawa House（lotsawahouse.org）的文本，并遵循与原始文本相同的许可协议。此数据是通过编程方式抓取、清理和格式化的。

训练过程

t5 分词器的更新方式与 ['billingsmoore/tibetan - phonetic - transliteration'](https://huggingface.co/billingsmoore/tibetan - phonetic - transliteration) 相同，具体步骤可在该模型的文档中找到。除了 ['billingsmoore/phonetic - tibetan - to - english - translation'](https://huggingface.co/billingsmoore/phonetic - tibetan - to - english - translation) 的训练（其完整训练过程在该模型的文档中有描述）之外，本模型在数据集 ['billingsmoore/tibetan - to - english - translation - dataset'](https://huggingface.co/datasets/billingsmoore/tibetan - to - english - translation - dataset) 上进行了 9 个轮次的训练。

训练超参数

• 本模型使用 Adafactor 优化器进行训练，学习率为 2e - 5。

评估

本模型的评估指标是由 sacreBLEU 实现的 BLEU 分数。BLEU（双语评估替补）分数通过将机器生成的翻译与人工提供的参考翻译进行比较来衡量翻译质量。分数范围从 0 到 100，其中 100 表示与参考翻译完全匹配。它评估生成文本中 n - 元组（单词序列）的精确性，分数越高表示与参考翻译的匹配度越高。同时会应用简短惩罚以避免生成过短的翻译。

🔧 技术细节

文档未提及详细技术实现细节，暂不展示。

📄 许可证

本作品采用 知识共享署名 - 非商业性使用 4.0 国际许可协议 进行许可。