Nllb 200 Distilled 600M Wo Fr En

🚀 翻译模型

本模型是一款专为法语 - 沃洛夫语以及沃洛夫语 - 法语翻译而优化的模型。它基于 nllb - 200 - distilled - 600M 进行微调，使用了 bilalfaye/english - wolof - french - translation 和 bilalfaye/english - wolof - french - translation - bis 数据集进行训练，这些数据集经过了大量预处理，以提高翻译质量。

支持语言

该模型支持以下双向翻译：

• 沃洛夫语到法语
• 法语到沃洛夫语
• 英语到沃洛夫语
• 沃洛夫语到英语
• 法语到英语
• 英语到法语

测试应用链接：https://huggingface.co/spaces/bilalfaye/WoFrEn - Translator

🚀 快速开始

✨ 主要特性

• 基于 nllb - 200 - distilled - 600M 微调，适用于多种语言对的翻译。
• 支持双向翻译，涵盖沃洛夫语、法语和英语。
• 经过数据集预处理，提升翻译质量。

📦 安装指南

安装所需库：

!pip install transformers

💻 使用示例

基础用法

手动推理：

from transformers import NllbTokenizer, AutoModelForSeq2SeqLM
import torch

device = "cuda" if torch.cuda.is_available() else "cpu"
model_load_name = 'bilalfaye/nllb-200-distilled-600M-wo-fr-en'

# Load model and tokenizer
model = AutoModelForSeq2SeqLM.from_pretrained(model_load_name).to(device)
tokenizer = NllbTokenizer.from_pretrained(model_load_name)

def translate(
    text, src_lang='wol_Latn', tgt_lang='french_Latn',
    a=32, b=3, max_input_length=1024, num_beams=4, **kwargs
):
    """Turn a text or a list of texts into a list of translations"""
    tokenizer.src_lang = src_lang
    tokenizer.tgt_lang = tgt_lang
    inputs = tokenizer(
        text, return_tensors='pt', padding=True, truncation=True,
        max_length=max_input_length
    )
    model.eval()
    result = model.generate(
        **inputs.to(model.device),
        forced_bos_token_id=tokenizer.convert_tokens_to_ids(tgt_lang),
        max_new_tokens=int(a + b * inputs.input_ids.shape[1]),
        num_beams=num_beams, **kwargs
    )
    return tokenizer.batch_decode(result, skip_special_tokens=True)

# Example usage
print(translate("Ndax mën nga ko waxaat su la neexee?", src_lang="wol_Latn", tgt_lang="french_Latn")[0])
print(translate("Ndax mën nga ko waxaat su la neexee?", src_lang="wol_Latn", tgt_lang="eng_Latn")[0])
print(translate("Bonjour, où allez-vous?", src_lang="fra_Latn", tgt_lang="wol_Latn")[0])
print(translate("Bonjour, où allez-vous?", src_lang="fra_Latn", tgt_lang="eng_Latn")[0])
print(translate("Hello, how are you?", src_lang="eng_Latn", tgt_lang="wol_Latn")[0])
print(translate("Hello, how are you?", src_lang="eng_Latn", tgt_lang="fr_Latn")[0])

高级用法

使用管道进行推理：

from transformers import pipeline

model_name = 'bilalfaye/nllb-200-distilled-600M-wo-fr-en'
device = "cuda" if torch.cuda.is_available() else "cpu"

translator = pipeline("translation", model=model_name, device=device)

print(translator("Ndax mën nga ko waxaat su la neexee?", src_lang="wol_Latn", tgt_lang="fra_Latn")[0]['translation_text'])
print(translator("Bonjour, où allez-vous?", src_lang="fra_Latn", tgt_lang="wol_Latn")[0]['translation_text'])

📚 详细文档

信息表格

包版本

本模型在开发和测试过程中使用了以下包版本：

• transformers：4.41.2
• torch：2.4.0+cu121
• datasets：3.2.0
• sentencepiece：0.2.0
• sacrebleu：2.5.1

🔧 作者信息

作者：Bila Faye

如有任何问题或改进建议，欢迎随时联系！

📄 许可证

本项目采用 MIT 许可证。