Nllb 200 Distilled 1.3B

🚀 NLLB - 200

NLLB - 200 是一个机器翻译模型，主要用于机器翻译研究，尤其是针对低资源语言。它支持 200 种语言的单句翻译，为翻译研究带来了新的可能。

🚀 快速开始

本模型的使用方法可在 Fairseq 代码仓库中找到，同时还能找到训练代码以及评估和训练数据的参考信息。链接如下：指标 。

✨ 主要特性

• 多语言支持：支持 200 种语言，具体语言列表如下：

ace, acm, acq, aeb, af, ajp, ak, als, am, apc, ar, ars, ary, arz, as, ast, awa, ayr, azb, azj, ba, bm, ban, be, bem, bn, bho, bjn, bo, bs, bug, bg, ca, ceb, cs, cjk, ckb, crh, cy, da, de, dik, dyu, dz, el, en, eo, et, eu, ee, fo, fj, fi, fon, fr, fur, fuv, gaz, gd, ga, gl, gn, gu, ht, ha, he, hi, hne, hr, hu, hy, ig, ilo, id, is, it, jv, ja, kab, kac, kam, kn, ks, ka, kk, kbp, kea, khk, km, ki, rw, ky, kmb, kmr, knc, kg, ko, lo, lij, li, ln, lt, lmo, ltg, lb, lua, lg, luo, lus, lvs, mag, mai, ml, mar, min, mk, mt, mni, mos, mi, my, nl, nn, nb, npi, nso, nus, ny, oc, ory, pag, pa, pap, pbt, pes, plt, pl, pt, prs, quy, ro, rn, ru, sg, sa, sat, scn, shn, si, sk, sl, sm, sn, sd, so, st, es, sc, sr, ss, su, sv, swh, szl, ta, taq, tt, te, tg, tl, th, ti, tpi, tn, ts, tk, tum, tr, tw, tzm, ug, uk, umb, ur, uzn, vec, vi, war, wo, xh, ydd, yo, yue, zh, zsm, zu

• 语言详情：每种语言的具体详情如下：

ace_Arab, ace_Latn, acm_Arab, acq_Arab, aeb_Arab, afr_Latn, ajp_Arab, aka_Latn, amh_Ethi, apc_Arab, arb_Arab, ars_Arab, ary_Arab, arz_Arab, asm_Beng, ast_Latn, awa_Deva, ayr_Latn, azb_Arab, azj_Latn, bak_Cyrl, bam_Latn, ban_Latn,bel_Cyrl, bem_Latn, ben_Beng, bho_Deva, bjn_Arab, bjn_Latn, bod_Tibt, bos_Latn, bug_Latn, bul_Cyrl, cat_Latn, ceb_Latn, ces_Latn, cjk_Latn, ckb_Arab, crh_Latn, cym_Latn, dan_Latn, deu_Latn, dik_Latn, dyu_Latn, dzo_Tibt, ell_Grek, eng_Latn, epo_Latn, est_Latn, eus_Latn, ewe_Latn, fao_Latn, pes_Arab, fij_Latn, fin_Latn, fon_Latn, fra_Latn, fur_Latn, fuv_Latn, gla_Latn, gle_Latn, glg_Latn, grn_Latn, guj_Gujr, hat_Latn, hau_Latn, heb_Hebr, hin_Deva, hne_Deva, hrv_Latn, hun_Latn, hye_Armn, ibo_Latn, ilo_Latn, ind_Latn, isl_Latn, ita_Latn, jav_Latn, jpn_Jpan, kab_Latn, kac_Latn, kam_Latn, kan_Knda, kas_Arab, kas_Deva, kat_Geor, knc_Arab, knc_Latn, kaz_Cyrl, kbp_Latn, kea_Latn, khm_Khmr, kik_Latn, kin_Latn, kir_Cyrl, kmb_Latn, kon_Latn, kor_Hang, kmr_Latn, lao_Laoo, lvs_Latn, lij_Latn, lim_Latn, lin_Latn, lit_Latn, lmo_Latn, ltg_Latn, ltz_Latn, lua_Latn, lug_Latn, luo_Latn, lus_Latn, mag_Deva, mai_Deva, mal_Mlym, mar_Deva, min_Latn, mkd_Cyrl, plt_Latn, mlt_Latn, mni_Beng, khk_Cyrl, mos_Latn, mri_Latn, zsm_Latn, mya_Mymr, nld_Latn, nno_Latn, nob_Latn, npi_Deva, nso_Latn, nus_Latn, nya_Latn, oci_Latn, gaz_Latn, ory_Orya, pag_Latn, pan_Guru, pap_Latn, pol_Latn, por_Latn, prs_Arab, pbt_Arab, quy_Latn, ron_Latn, run_Latn, rus_Cyrl, sag_Latn, san_Deva, sat_Beng, scn_Latn, shn_Mymr, sin_Sinh, slk_Latn, slv_Latn, smo_Latn, sna_Latn, snd_Arab, som_Latn, sot_Latn, spa_Latn, als_Latn, srd_Latn, srp_Cyrl, ssw_Latn, sun_Latn, swe_Latn, swh_Latn, szl_Latn, tam_Taml, tat_Cyrl, tel_Telu, tgk_Cyrl, tgl_Latn, tha_Thai, tir_Ethi, taq_Latn, taq_Tfng, tpi_Latn, tsn_Latn, tso_Latn, tuk_Latn, tum_Latn, tur_Latn, twi_Latn, tzm_Tfng, uig_Arab, ukr_Cyrl, umb_Latn, urd_Arab, uzn_Latn, vec_Latn, vie_Latn, war_Latn, wol_Latn, xho_Latn, ydd_Hebr, yor_Latn, yue_Hant, zho_Hans, zho_Hant, zul_Latn

• 评估指标：使用了机器翻译社区广泛采用的 BLEU、spBLEU 和 chrF++ 指标进行评估。此外，还通过 XSTS 协议进行了人工评估，并测量了生成翻译的毒性。

📚 详细文档

预期用途

• 主要预期用途：NLLB - 200 主要用于机器翻译研究，特别是针对低资源语言的研究。它支持 200 种语言的单句翻译。
• 主要预期用户：主要用户为研究人员和机器翻译研究社区。
• 超出范围的用例：NLLB - 200 是一个研究模型，未发布用于生产部署。它是在通用领域文本数据上进行训练的，不适用于特定领域的文本，如医学领域或法律领域。该模型也不用于文档翻译。由于模型训练时输入长度不超过 512 个标记，因此翻译较长序列可能会导致质量下降。NLLB - 200 的翻译不能用作认证翻译。

评估数据

• 数据集：使用了 Flores - 200 数据集，相关描述在论文第 4 节。
• 动机：选择 Flores - 200 是因为它能对 NLLB - 200 中的语言提供全面的评估覆盖。
• 预处理：使用 SentencePiece 对按句子分割的原始文本数据进行预处理。SentencePiece 模型与 NLLB - 200 一起发布。

训练数据

使用了来自多种来源的平行多语言数据来训练模型。论文第 5 节提供了数据选择和构建过程的详细报告。此外，还使用了从 Common Crawl 构建的单语数据，更多细节在第 5.2 节。

伦理考量

在这项工作中，我们在技术开发中采取了反思性的方法，以确保优先考虑人类用户，并尽量减少可能转移给他们的风险。虽然我们在整篇文章中都在反思我们的伦理考量，但这里还有一些额外的要点需要强调。一方面，本研究选择的许多语言是低资源语言，其中非洲语言占比较大。虽然高质量的翻译可以改善这些社区的教育和信息获取，但这种获取也可能使数字素养较低的群体更容易受到错误信息或网络诈骗的影响。如果不良行为者将我们的工作用于恶意活动，就可能出现后一种情况，我们将其视为意外使用的一个例子。关于数据获取，用于模型开发的训练数据是从网络上各种公开可用的来源挖掘的。尽管我们在数据清理方面投入了大量精力，但个人可识别信息可能并未完全消除。最后，尽管我们尽最大努力优化翻译质量，但模型产生的误译仍可能存在。虽然这种可能性很低，但这可能会对那些依赖这些翻译做出重要决策的人产生不利影响（特别是与健康和安全相关的决策）。

注意事项和建议

我们的模型已在维基媒体领域进行了测试，但对 NLLB - MD 支持的其他领域的研究有限。此外，支持的语言可能存在模型未涵盖的变体。用户应进行适当的评估。

碳足迹详情

二氧化碳（CO2e）估计值在论文第 8.8 节报告。

📄 许可证

本模型的许可证为 CC - BY - NC。

模型相关问题反馈

有关该模型的问题或建议，请发送至：https://github.com/facebookresearch/fairseq/issues

参考资料

如需更多信息，请参考论文：NLLB Team et al, No Language Left Behind: Scaling Human - Centered Machine Translation, Arxiv, 2022 。