Translate Nllb 1.3b Salt

🚀 機器翻譯模型 - translate-nllb-1.3b-salt

本機器翻譯模型可實現以下語言之間單句的任意組合互譯，為多語言交流提供了強大的支持。

🚀 快速開始

本機器翻譯模型能夠在以下語言的單句之間進行任意組合的翻譯：

該模型基於 SALT 數據集以及多種額外的外部數據資源進行訓練，這些外部資源包括回譯新聞文章、FLORES - 200、MT560 和 LAFAND - MT。基礎模型採用 facebok/nllb-200-1.3B，並對其進行了調整，以支持原本未包含的語言。

💻 使用示例

基礎用法

tokenizer = transformers.NllbTokenizer.from_pretrained(
    'Sunbird/translate-nllb-1.3b-salt')
model = transformers.M2M100ForConditionalGeneration.from_pretrained(
    'Sunbird/translate-nllb-1.3b-salt')

text = 'Where is the hospital?'
source_language = 'eng'
target_language = 'lug'

language_tokens = {
    'eng': 256047,
    'ach': 256111,
    'lgg': 256008,
    'lug': 256110,
    'nyn': 256002,
    'teo': 256006,
}

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
inputs = tokenizer(text, return_tensors="pt").to(device)
inputs['input_ids'][0][0] = language_tokens[source_language]
translated_tokens = model.to(device).generate(
    **inputs,
    forced_bos_token_id=language_tokens[target_language],
    max_length=100,
    num_beams=5,
)

result = tokenizer.batch_decode(
    translated_tokens, skip_special_tokens=True)[0]
# Eddwaliro liri ludda wa?

📚 詳細文檔

評估指標

在 salt - dev 上的評估結果如下：

🔧 技術細節