Nllb 200 Distilled 1.3B

🚀 NLLB - 200

NLLB - 200 是一個機器翻譯模型，主要用於機器翻譯研究，尤其是針對低資源語言。它支持 200 種語言的單句翻譯，為翻譯研究帶來了新的可能。

🚀 快速開始

本模型的使用方法可在 Fairseq 代碼倉庫中找到，同時還能找到訓練代碼以及評估和訓練數據的參考信息。鏈接如下：指標 。

✨ 主要特性

• 多語言支持：支持 200 種語言，具體語言列表如下：

ace, acm, acq, aeb, af, ajp, ak, als, am, apc, ar, ars, ary, arz, as, ast, awa, ayr, azb, azj, ba, bm, ban, be, bem, bn, bho, bjn, bo, bs, bug, bg, ca, ceb, cs, cjk, ckb, crh, cy, da, de, dik, dyu, dz, el, en, eo, et, eu, ee, fo, fj, fi, fon, fr, fur, fuv, gaz, gd, ga, gl, gn, gu, ht, ha, he, hi, hne, hr, hu, hy, ig, ilo, id, is, it, jv, ja, kab, kac, kam, kn, ks, ka, kk, kbp, kea, khk, km, ki, rw, ky, kmb, kmr, knc, kg, ko, lo, lij, li, ln, lt, lmo, ltg, lb, lua, lg, luo, lus, lvs, mag, mai, ml, mar, min, mk, mt, mni, mos, mi, my, nl, nn, nb, npi, nso, nus, ny, oc, ory, pag, pa, pap, pbt, pes, plt, pl, pt, prs, quy, ro, rn, ru, sg, sa, sat, scn, shn, si, sk, sl, sm, sn, sd, so, st, es, sc, sr, ss, su, sv, swh, szl, ta, taq, tt, te, tg, tl, th, ti, tpi, tn, ts, tk, tum, tr, tw, tzm, ug, uk, umb, ur, uzn, vec, vi, war, wo, xh, ydd, yo, yue, zh, zsm, zu

• 語言詳情：每種語言的具體詳情如下：

ace_Arab, ace_Latn, acm_Arab, acq_Arab, aeb_Arab, afr_Latn, ajp_Arab, aka_Latn, amh_Ethi, apc_Arab, arb_Arab, ars_Arab, ary_Arab, arz_Arab, asm_Beng, ast_Latn, awa_Deva, ayr_Latn, azb_Arab, azj_Latn, bak_Cyrl, bam_Latn, ban_Latn,bel_Cyrl, bem_Latn, ben_Beng, bho_Deva, bjn_Arab, bjn_Latn, bod_Tibt, bos_Latn, bug_Latn, bul_Cyrl, cat_Latn, ceb_Latn, ces_Latn, cjk_Latn, ckb_Arab, crh_Latn, cym_Latn, dan_Latn, deu_Latn, dik_Latn, dyu_Latn, dzo_Tibt, ell_Grek, eng_Latn, epo_Latn, est_Latn, eus_Latn, ewe_Latn, fao_Latn, pes_Arab, fij_Latn, fin_Latn, fon_Latn, fra_Latn, fur_Latn, fuv_Latn, gla_Latn, gle_Latn, glg_Latn, grn_Latn, guj_Gujr, hat_Latn, hau_Latn, heb_Hebr, hin_Deva, hne_Deva, hrv_Latn, hun_Latn, hye_Armn, ibo_Latn, ilo_Latn, ind_Latn, isl_Latn, ita_Latn, jav_Latn, jpn_Jpan, kab_Latn, kac_Latn, kam_Latn, kan_Knda, kas_Arab, kas_Deva, kat_Geor, knc_Arab, knc_Latn, kaz_Cyrl, kbp_Latn, kea_Latn, khm_Khmr, kik_Latn, kin_Latn, kir_Cyrl, kmb_Latn, kon_Latn, kor_Hang, kmr_Latn, lao_Laoo, lvs_Latn, lij_Latn, lim_Latn, lin_Latn, lit_Latn, lmo_Latn, ltg_Latn, ltz_Latn, lua_Latn, lug_Latn, luo_Latn, lus_Latn, mag_Deva, mai_Deva, mal_Mlym, mar_Deva, min_Latn, mkd_Cyrl, plt_Latn, mlt_Latn, mni_Beng, khk_Cyrl, mos_Latn, mri_Latn, zsm_Latn, mya_Mymr, nld_Latn, nno_Latn, nob_Latn, npi_Deva, nso_Latn, nus_Latn, nya_Latn, oci_Latn, gaz_Latn, ory_Orya, pag_Latn, pan_Guru, pap_Latn, pol_Latn, por_Latn, prs_Arab, pbt_Arab, quy_Latn, ron_Latn, run_Latn, rus_Cyrl, sag_Latn, san_Deva, sat_Beng, scn_Latn, shn_Mymr, sin_Sinh, slk_Latn, slv_Latn, smo_Latn, sna_Latn, snd_Arab, som_Latn, sot_Latn, spa_Latn, als_Latn, srd_Latn, srp_Cyrl, ssw_Latn, sun_Latn, swe_Latn, swh_Latn, szl_Latn, tam_Taml, tat_Cyrl, tel_Telu, tgk_Cyrl, tgl_Latn, tha_Thai, tir_Ethi, taq_Latn, taq_Tfng, tpi_Latn, tsn_Latn, tso_Latn, tuk_Latn, tum_Latn, tur_Latn, twi_Latn, tzm_Tfng, uig_Arab, ukr_Cyrl, umb_Latn, urd_Arab, uzn_Latn, vec_Latn, vie_Latn, war_Latn, wol_Latn, xho_Latn, ydd_Hebr, yor_Latn, yue_Hant, zho_Hans, zho_Hant, zul_Latn

• 評估指標：使用了機器翻譯社區廣泛採用的 BLEU、spBLEU 和 chrF++ 指標進行評估。此外，還通過 XSTS 協議進行了人工評估，並測量了生成翻譯的毒性。

📚 詳細文檔

預期用途

• 主要預期用途：NLLB - 200 主要用於機器翻譯研究，特別是針對低資源語言的研究。它支持 200 種語言的單句翻譯。
• 主要預期用戶：主要用戶為研究人員和機器翻譯研究社區。
• 超出範圍的用例：NLLB - 200 是一個研究模型，未發佈用於生產部署。它是在通用領域文本數據上進行訓練的，不適用於特定領域的文本，如醫學領域或法律領域。該模型也不用於文檔翻譯。由於模型訓練時輸入長度不超過 512 個標記，因此翻譯較長序列可能會導致質量下降。NLLB - 200 的翻譯不能用作認證翻譯。

評估數據

• 數據集：使用了 Flores - 200 數據集，相關描述在論文第 4 節。
• 動機：選擇 Flores - 200 是因為它能對 NLLB - 200 中的語言提供全面的評估覆蓋。
• 預處理：使用 SentencePiece 對按句子分割的原始文本數據進行預處理。SentencePiece 模型與 NLLB - 200 一起發佈。

訓練數據

使用了來自多種來源的平行多語言數據來訓練模型。論文第 5 節提供了數據選擇和構建過程的詳細報告。此外，還使用了從 Common Crawl 構建的單語數據，更多細節在第 5.2 節。

倫理考量

在這項工作中，我們在技術開發中採取了反思性的方法，以確保優先考慮人類用戶，並儘量減少可能轉移給他們的風險。雖然我們在整篇文章中都在反思我們的倫理考量，但這裡還有一些額外的要點需要強調。一方面，本研究選擇的許多語言是低資源語言，其中非洲語言佔比較大。雖然高質量的翻譯可以改善這些社區的教育和信息獲取，但這種獲取也可能使數字素養較低的群體更容易受到錯誤信息或網絡詐騙的影響。如果不良行為者將我們的工作用於惡意活動，就可能出現後一種情況，我們將其視為意外使用的一個例子。關於數據獲取，用於模型開發的訓練數據是從網絡上各種公開可用的來源挖掘的。儘管我們在數據清理方面投入了大量精力，但個人可識別信息可能並未完全消除。最後，儘管我們盡最大努力優化翻譯質量，但模型產生的誤譯仍可能存在。雖然這種可能性很低，但這可能會對那些依賴這些翻譯做出重要決策的人產生不利影響（特別是與健康和安全相關的決策）。

注意事項和建議

我們的模型已在維基媒體領域進行了測試，但對 NLLB - MD 支持的其他領域的研究有限。此外，支持的語言可能存在模型未涵蓋的變體。用戶應進行適當的評估。

碳足跡詳情

二氧化碳（CO2e）估計值在論文第 8.8 節報告。

📄 許可證

本模型的許可證為 CC - BY - NC。

模型相關問題反饋

有關該模型的問題或建議，請發送至：https://github.com/facebookresearch/fairseq/issues

參考資料

如需更多信息，請參考論文：NLLB Team et al, No Language Left Behind: Scaling Human - Centered Machine Translation, Arxiv, 2022 。