Nllb Moe 54b

🚀 NLLB-MoE

NLLB-MoE是一個強大的多語言翻譯模型，它致力於消除語言障礙，實現跨語言的高效交流，為全球不同語言的用戶提供了便捷的翻譯解決方案。

🚀 快速開始

NLLB模型在論文 No Language Left Behind: Scaling Human-Centered Machine Translation 中被提出，作者包括Marta R. Costa - jussà、James Cross、Onur Çelebi等眾多研究人員。

✨ 主要特性

• 多語言支持：支持多種語言，涵蓋了如ace、acm、acq等眾多語言代碼對應的語言，具體語言詳情可參考 language_details 字段。
• 特定訓練算法：採用Expert Output Masking進行訓練，通過丟棄某些標記的全部貢獻來優化模型。
• 多指標評估：使用bleu、spbleu、chrf++等指標進行評估。

📦 安裝指南

可用的檢查點大約需要350GB的存儲空間。如果你的機器內存不足，請確保使用 accelerate。

💻 使用示例

基礎用法

以下示例展示瞭如何使用 facebook/nllb-moe-54b 模型將英語翻譯成法語。注意，這裡使用的是法語的BCP - 47代碼 fra_Latn。所有Flores 200數據集中的BCP - 47代碼列表可參考 此處。

>>> from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

>>> tokenizer = AutoTokenizer.from_pretrained("facebook/nllb-moe-54b")
>>> model = AutoModelForSeq2SeqLM.from_pretrained("facebook/nllb-moe-54b")

>>> batched_input = [
'We now have 4-month-old mice that are non-diabetic that used to be diabetic," he added.',
"Dr. Ehud Ur, professor of medicine at Dalhousie University in Halifax, Nova Scotia and chair of the clinical and scientific division of the Canadian Diabetes Association cautioned that the research is still in its early days."
"Like some other experts, he is skeptical about whether diabetes can be cured, noting that these findings have no relevance to people who already have Type 1 diabetes."
"On Monday, Sara Danius, permanent secretary of the Nobel Committee for Literature at the Swedish Academy, publicly announced during a radio program on Sveriges Radio in Sweden the committee, unable to reach Bob Dylan directly about winning the 2016 Nobel Prize in Literature, had abandoned its efforts to reach him.",
'Danius said, "Right now we are doing nothing. I have called and sent emails to his closest collaborator and received very friendly replies. For now, that is certainly enough."',
"Previously, Ring's CEO, Jamie Siminoff, remarked the company started when his doorbell wasn't audible from his shop in his garage.",
]
>>> inputs = tokenizer(article, return_tensors="pt", padding = True)

>>> translated_tokens = model.generate(
...     **inputs, forced_bos_token_id=tokenizer.lang_code_to_id["fra_Latn"]
... )
>>> tokenizer.batch_decode(translated_tokens, skip_special_tokens=True)
['"Nous avons maintenant des souris de 4 mois non diabétiques qui étaient diabétiques", a-t-il ajouté.',
"Le docteur Ehud Ur, professeur de médecine à l'université Dalhousie, à Halifax, en Nouvelle-Écosse, et président de la division clinique et scientifique de l'Association canadienne du diabète, prévient que la recherche n'en est qu'à ses débuts.",
"Comme d'autres spécialistes, il est sceptique quant à la guérison du diabète, notant que ces résultats ne sont pas pertinents pour les personnes atteintes de diabète de type 1.",
"Lundi, Sara Danius, secrétaire permanente du Comité Nobel de littérature à l'Académie suédoise, a annoncé publiquement lors d'une émission de radio sur Sveriges Radio en Suède que le comité, incapable de contacter Bob Dylan directement au sujet du prix Nobel de littérature 2016, avait abandonné ses efforts pour le joindre.",
"Danius a déclaré: \"Pour le moment, nous ne faisons rien. J'ai appelé et envoyé des courriels à son plus proche collaborateur et j'ai reçu des réponses très amicales. Pour l'instant, c'est certainement suffisant\".",
"Auparavant, le PDG de Ring, Jamie Siminoff, a fait remarquer que la société avait commencé lorsque sa sonnette n'était pas audible depuis son magasin dans son garage.",
"Il a construit une sonnette WiFi, il a dit.",
]

📚 詳細文檔

• 訓練算法：使用Expert Output Masking進行訓練，即丟棄某些標記的全部貢獻。具體方案如下：
• 更多信息資源：可參考論文NLLB Team et al, No Language Left Behind: Scaling Human-Centered Machine Translation, Arxiv, 2022。
• 許可證：CC - BY - NC
• 問題反饋：如有關於該模型的問題或建議，請訪問 此處。

📄 許可證

本模型採用CC - BY - NC - 4.0許可證。

信息表格

常用提示信息

⚠️ 重要提示

生成目標文本時，請將 forced_bos_token_id 設置為目標語言的ID。

💡 使用建議

如果你的機器內存不足，請使用 accelerate 來運行模型。