Nllb Moe 54b

🚀 NLLB - MoE

このモデルはNLLB - MoEバリアントのモデルカードです。このモデルは、多言語翻訳に特化しており、幅広い言語間の翻訳タスクに対応しています。

✨ 主な機能

• 多言語対応: 200種類以上の言語に対応しており、幅広い言語間の翻訳が可能です。
• 最先端のアルゴリズム: 最新のトレーニングアルゴリズムを用いており、高品質な翻訳結果を提供します。

📦 インストール

このモデルを使用するには、transformersライブラリをインストールする必要があります。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

# 必要なライブラリをインポート
>>> from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

# トークナイザーとモデルをロード
>>> tokenizer = AutoTokenizer.from_pretrained("facebook/nllb-moe-54b")
>>> model = AutoModelForSeq2SeqLM.from_pretrained("facebook/nllb-moe-54b")

# 入力データを定義
>>> batched_input = [
'We now have 4-month-old mice that are non-diabetic that used to be diabetic," he added.',
"Dr. Ehud Ur, professor of medicine at Dalhousie University in Halifax, Nova Scotia and chair of the clinical and scientific division of the Canadian Diabetes Association cautioned that the research is still in its early days.",
"Like some other experts, he is skeptical about whether diabetes can be cured, noting that these findings have no relevance to people who already have Type 1 diabetes.",
"On Monday, Sara Danius, permanent secretary of the Nobel Committee for Literature at the Swedish Academy, publicly announced during a radio program on Sveriges Radio in Sweden the committee, unable to reach Bob Dylan directly about winning the 2016 Nobel Prize in Literature, had abandoned its efforts to reach him.",
'Danius said, "Right now we are doing nothing. I have called and sent emails to his closest collaborator and received very friendly replies. For now, that is certainly enough."',
"Previously, Ring's CEO, Jamie Siminoff, remarked the company started when his doorbell wasn't audible from his shop in his garage.",
]
# 入力データをトークナイズ
>>> inputs = tokenizer(article, return_tensors="pt", padding = True)

# 翻訳を実行
>>> translated_tokens = model.generate(
...     **inputs, forced_bos_token_id=tokenizer.lang_code_to_id["fra_Latn"]
... )
# 翻訳結果をデコード
>>> tokenizer.batch_decode(translated_tokens, skip_special_tokens=True)
['"Nous avons maintenant des souris de 4 mois non diabétiques qui étaient diabétiques", a-t-il ajouté.',
"Le docteur Ehud Ur, professeur de médecine à l'université Dalhousie, à Halifax, en Nouvelle-Écosse, et président de la division clinique et scientifique de l'Association canadienne du diabète, prévient que la recherche n'en est qu'à ses débuts.",
"Comme d'autres spécialistes, il est sceptique quant à la guérison du diabète, notant que ces résultats ne sont pas pertinents pour les personnes atteintes de diabète de type 1.",
"Lundi, Sara Danius, secrétaire permanente du Comité Nobel de littérature à l'Académie suédoise, a annoncé publiquement lors d'une émission de radio sur Sveriges Radio en Suède que le comité, incapable de contacter Bob Dylan directement au sujet du prix Nobel de littérature 2016, avait abandonné ses efforts pour le joindre.",
"Danius a déclaré: \"Pour le moment, nous ne faisons rien. J'ai appelé et envoyé des courriels à son plus proche collaborateur et j'ai reçu des réponses très amicales. Pour l'instant, c'est certainement suffisant\".",
"Auparavant, le PDG de Ring, Jamie Siminoff, a fait remarquer que la société avait commencé lorsque sa sonnette n'était pas audible depuis son magasin dans son garage.",
"Il a construit une sonnette WiFi, il a dit.",
]

高度な使用法

# 高度な使用法についての説明
# このモデルを使用する際には、十分なRAMが必要です。
# もしRAMが不足している場合は、`accelerate`を使用することをおすすめします。
# また、翻訳時には`forced_bos_token_id`を目的言語のIDに設定する必要があります。

📚 詳細ドキュメント

• トレーニングアルゴリズム、パラメータ、公平性制約、その他のアプローチや機能に関する情報は、論文に記載されています。
• 詳細な情報については、論文「NLLB Team et al, No Language Left Behind: Scaling Human - Centered Machine Translation, Arxiv, 2022」を参照してください。

🔧 技術詳細

• トレーニングにはExpert Output Maskingが使用されており、一部のトークンの完全な寄与をドロップすることで行われます。これは以下のスキームに対応しています。

📄 ライセンス

このモデルのライセンスはCC - BY - NCです。

言語情報

モデルに関する質問やコメントの送信先

モデルに関する質問やコメントは、こちらに送信してください。