Nllb 200 Distilled 600M

🚀 NLLB-200

NLLB-200是一款机器翻译模型，旨在推动机器翻译研究，尤其是针对低资源语言。它能够实现200种语言之间的单句翻译。

模型信息

支持语言

• ace、acm、acq、aeb、af、ajp、ak、als、am、apc、ar、ars、ary、arz、as、ast、awa、ayr、azb、azj、ba、bm、ban、be、bem、bn、bho、bjn、bo、bs、bug、bg、ca、ceb、cs、cjk、ckb、crh、cy、da、de、dik、dyu、dz、el、en、eo、et、eu、ee、fo、fj、fi、fon、fr、fur、fuv、gaz、gd、ga、gl、gn、gu、ht、ha、he、hi、hne、hr、hu、hy、ig、ilo、id、is、it、jv、ja、kab、kac、kam、kn、ks、ka、kk、kbp、kea、khk、km、ki、rw、ky、kmb、kmr、knc、kg、ko、lo、lij、li、ln、lt、lmo、ltg、lb、lua、lg、luo、lus、lvs、mag、mai、ml、mar、min、mk、mt、mni、mos、mi、my、nl、nn、nb、npi、nso、nus、ny、oc、ory、pag、pa、pap、pbt、pes、plt、pl、pt、prs、quy、ro、rn、ru、sg、sa、sat、scn、shn、si、sk、sl、sm、sn、sd、so、st、es、sc、sr、ss、su、sv、swh、szl、ta、taq、tt、te、tg、tl、th、ti、tpi、tn、ts、tk、tum、tr、tw、tzm、ug、uk、umb、ur、uzn、vec、vi、war、wo、xh、ydd、yo、yue、zh、zsm、zu

语言详情

ace_Arab, ace_Latn, acm_Arab, acq_Arab, aeb_Arab, afr_Latn, ajp_Arab, aka_Latn, amh_Ethi, apc_Arab, arb_Arab, ars_Arab, ary_Arab, arz_Arab, asm_Beng, ast_Latn, awa_Deva, ayr_Latn, azb_Arab, azj_Latn, bak_Cyrl, bam_Latn, ban_Latn,bel_Cyrl, bem_Latn, ben_Beng, bho_Deva, bjn_Arab, bjn_Latn, bod_Tibt, bos_Latn, bug_Latn, bul_Cyrl, cat_Latn, ceb_Latn, ces_Latn, cjk_Latn, ckb_Arab, crh_Latn, cym_Latn, dan_Latn, deu_Latn, dik_Latn, dyu_Latn, dzo_Tibt, ell_Grek, eng_Latn, epo_Latn, est_Latn, eus_Latn, ewe_Latn, fao_Latn, pes_Arab, fij_Latn, fin_Latn, fon_Latn, fra_Latn, fur_Latn, fuv_Latn, gla_Latn, gle_Latn, glg_Latn, grn_Latn, guj_Gujr, hat_Latn, hau_Latn, heb_Hebr, hin_Deva, hne_Deva, hrv_Latn, hun_Latn, hye_Armn, ibo_Latn, ilo_Latn, ind_Latn, isl_Latn, ita_Latn, jav_Latn, jpn_Jpan, kab_Latn, kac_Latn, kam_Latn, kan_Knda, kas_Arab, kas_Deva, kat_Geor, knc_Arab, knc_Latn, kaz_Cyrl, kbp_Latn, kea_Latn, khm_Khmr, kik_Latn, kin_Latn, kir_Cyrl, kmb_Latn, kon_Latn, kor_Hang, kmr_Latn, lao_Laoo, lvs_Latn, lij_Latn, lim_Latn, lin_Latn, lit_Latn, lmo_Latn, ltg_Latn, ltz_Latn, lua_Latn, lug_Latn, luo_Latn, lus_Latn, mag_Deva, mai_Deva, mal_Mlym, mar_Deva, min_Latn, mkd_Cyrl, plt_Latn, mlt_Latn, mni_Beng, khk_Cyrl, mos_Latn, mri_Latn, zsm_Latn, mya_Mymr, nld_Latn, nno_Latn, nob_Latn, npi_Deva, nso_Latn, nus_Latn, nya_Latn, oci_Latn, gaz_Latn, ory_Orya, pag_Latn, pan_Guru, pap_Latn, pol_Latn, por_Latn, prs_Arab, pbt_Arab, quy_Latn, ron_Latn, run_Latn, rus_Cyrl, sag_Latn, san_Deva, sat_Beng, scn_Latn, shn_Mymr, sin_Sinh, slk_Latn, slv_Latn, smo_Latn, sna_Latn, snd_Arab, som_Latn, sot_Latn, spa_Latn, als_Latn, srd_Latn, srp_Cyrl, ssw_Latn, sun_Latn, swe_Latn, swh_Latn, szl_Latn, tam_Taml, tat_Cyrl, tel_Telu, tgk_Cyrl, tgl_Latn, tha_Thai, tir_Ethi, taq_Latn, taq_Tfng, tpi_Latn, tsn_Latn, tso_Latn, tuk_Latn, tum_Latn, tur_Latn, twi_Latn, tzm_Tfng, uig_Arab, ukr_Cyrl, umb_Latn, urd_Arab, uzn_Latn, vec_Latn, vie_Latn, war_Latn, wol_Latn, xho_Latn, ydd_Hebr, yor_Latn, yue_Hant, zho_Hans, zho_Hant, zul_Latn

训练与评估

• 评估指标详情：可查看该特定检查点的指标。模型使用了BLEU、spBLEU和chrF++等机器翻译社区广泛采用的指标进行评估，此外还通过XSTS协议进行了人工评估，并测量了生成翻译的毒性。
• 评估数据：使用了Flores-200数据集，该数据集能对NLLB-200支持的语言提供全面的评估覆盖。原始文本数据经过SentencePiece进行预处理，且SentencePiece模型随NLLB-200一同发布。
• 训练数据：使用了来自多种来源的平行多语言数据进行训练，论文第5节详细报告了数据选择和构建过程。此外，还使用了从Common Crawl构建的单语数据，第5.2节提供了更多详细信息。

预期用途

• 主要用途：主要用于机器翻译研究，特别是针对低资源语言的研究。它支持200种语言之间的单句翻译。使用模型的相关信息可在Fairseq代码仓库中找到，同时还有训练代码以及评估和训练数据的参考。
• 主要用户：主要是研究人员和机器翻译研究社区。
• 超出范围的用例：NLLB-200是一个研究模型，未发布用于生产部署。它基于通用领域文本数据进行训练，不适用于特定领域的文本，如医学领域或法律领域，也不用于文档翻译。该模型训练时输入长度不超过512个标记，因此翻译较长序列可能会导致质量下降，并且其翻译结果不能用作认证翻译。

伦理考量

在这项工作中，我们在技术开发中采取了反思性方法，以确保优先考虑人类用户，并尽量减少可能转移给他们的风险。虽然我们在整篇文章中都在反思伦理考量，但这里有一些额外的要点需要强调。

• 本研究选择的许多语言是低资源语言，尤其着重于非洲语言。高质量的翻译可以改善这些社区的教育和信息获取，但这种获取也可能使数字素养较低的群体更容易受到错误信息或网络诈骗的影响。如果不良行为者将我们的工作用于恶意活动，就可能出现后一种情况，我们认为这是一种意外使用的例子。
• 在数据获取方面，用于模型开发的训练数据是从网络上各种公开可用的来源挖掘的。尽管我们在数据清理方面投入了大量精力，但个人可识别信息可能无法完全消除。
• 尽管我们尽力优化翻译质量，但模型产生的误译仍可能存在。虽然这种可能性较低，但这可能会对依赖这些翻译做出重要决策的人产生不利影响（特别是与健康和安全相关的决策）。

注意事项和建议

• 我们的模型仅在维基媒体领域进行了测试，对NLLB-MD支持的其他领域的研究有限。
• 支持的语言可能存在模型未涵盖的变体，用户应进行适当评估。

碳排放详情

二氧化碳（CO2e）估计值在论文第8.8节报告。

相关引用

NLLB Team等，No Language Left Behind: Scaling Human-Centered Machine Translation，Arxiv，2022

问题反馈

有关该模型的问题或建议，请访问：https://github.com/facebookresearch/fairseq/issues