Nllb 200 Distilled 1.3B Ct2 Int8

🚀 基於Ctranslate2的快速推理模型

本項目藉助C++在CPU或GPU上進行int8推理，在加速推理的同時，可將內存使用量降低2 - 4倍。它是 facebook/nllb - 200 - distilled - 1.3B 的量化版本。

🚀 快速開始

pip install ctranslate2

此檢查點與 ctranslate2>=3.22.0 兼容：

• 當 device="cuda" 時，使用 compute_type=int8_float16
• 當 device="cpu" 時，使用 compute_type=int8

本模型於2023年11月30日使用 CTranslate2==3.22.0 進行轉換，轉換代碼如下：

from ctranslate2.converters import TransformersConverter
TransformersConverter(
    "facebook/nllb-200-distilled-1.3B",
    activation_scales=None,
    copy_files=['tokenizer.json', 'generation_config.json', 'README.md', 'special_tokens_map.json', 'tokenizer_config.json', '.gitattributes'],
    load_as_float16=True,
    revision=None,
    low_cpu_mem_usage=True,
    trust_remote_code=True,
).convert(
    output_dir=str(tmp_dir),
    vmap = None, 
    quantization="int8",
    force = True,
)

✨ 主要特性

• 多語言支持：支持眾多語言，包括但不限於 ace、acm、acq、aeb 等。
• 快速推理：利用Ctranslate2的int8推理，在CPU或GPU上加速推理並降低內存使用。
• 量化版本：是 facebook/nllb - 200 - distilled - 1.3B 的量化版本。

支持語言列表

ace, acm, acq, aeb, af, ajp, ak, als, am, apc, ar, ars, ary, arz, as, ast, awa, ayr, azb, azj, ba, bm, ban, be, bem, bn, bho, bjn, bo, bs, bug, bg, ca, ceb, cs, cjk, ckb, crh, cy, da, de, dik, dyu, dz, el, en, eo, et, eu, ee, fo, fj, fi, fon, fr, fur, fuv, gaz, gd, ga, gl, gn, gu, ht, ha, he, hi, hne, hr, hu, hy, ig, ilo, id, is, it, jv, ja, kab, kac, kam, kn, ks, ka, kk, kbp, kea, khk, km, ki, rw, ky, kmb, kmr, knc, kg, ko, lo, lij, li, ln, lt, lmo, ltg, lb, lua, lg, luo, lus, lvs, mag, mai, ml, mar, min, mk, mt, mni, mos, mi, my, nl, nn, nb, npi, nso, nus, ny, oc, ory, pag, pa, pap, pbt, pes, plt, pl, pt, prs, quy, ro, rn, ru, sg, sa, sat, scn, shn, si, sk, sl, sm, sn, sd, so, st, es, sc, sr, ss, su, sv, swh, szl, ta, taq, tt, te, tg, tl, th, ti, tpi, tn, ts, tk, tum, tr, tw, tzm, ug, uk, umb, ur, uzn, vec, vi, war, wo, xh, ydd, yo, yue, zh, zsm, zu

語言詳情

ace_Arab, ace_Latn, acm_Arab, acq_Arab, aeb_Arab, afr_Latn, ajp_Arab, aka_Latn, amh_Ethi, apc_Arab, arb_Arab, ars_Arab, ary_Arab, arz_Arab, asm_Beng, ast_Latn, awa_Deva, ayr_Latn, azb_Arab, azj_Latn, bak_Cyrl, bam_Latn, ban_Latn,bel_Cyrl, bem_Latn, ben_Beng, bho_Deva, bjn_Arab, bjn_Latn, bod_Tibt, bos_Latn, bug_Latn, bul_Cyrl, cat_Latn, ceb_Latn, ces_Latn, cjk_Latn, ckb_Arab, crh_Latn, cym_Latn, dan_Latn, deu_Latn, dik_Latn, dyu_Latn, dzo_Tibt, ell_Grek, eng_Latn, epo_Latn, est_Latn, eus_Latn, ewe_Latn, fao_Latn, pes_Arab, fij_Latn, fin_Latn, fon_Latn, fra_Latn, fur_Latn, fuv_Latn, gla_Latn, gle_Latn, glg_Latn, grn_Latn, guj_Gujr, hat_Latn, hau_Latn, heb_Hebr, hin_Deva, hne_Deva, hrv_Latn, hun_Latn, hye_Armn, ibo_Latn, ilo_Latn, ind_Latn, isl_Latn, ita_Latn, jav_Latn, jpn_Jpan, kab_Latn, kac_Latn, kam_Latn, kan_Knda, kas_Arab, kas_Deva, kat_Geor, knc_Arab, knc_Latn, kaz_Cyrl, kbp_Latn, kea_Latn, khm_Khmr, kik_Latn, kin_Latn, kir_Cyrl, kmb_Latn, kon_Latn, kor_Hang, kmr_Latn, lao_Laoo, lvs_Latn, lij_Latn, lim_Latn, lin_Latn, lit_Latn, lmo_Latn, ltg_Latn, ltz_Latn, lua_Latn, lug_Latn, luo_Latn, lus_Latn, mag_Deva, mai_Deva, mal_Mlym, mar_Deva, min_Latn, mkd_Cyrl, plt_Latn, mlt_Latn, mni_Beng, khk_Cyrl, mos_Latn, mri_Latn, zsm_Latn, mya_Mymr, nld_Latn, nno_Latn, nob_Latn, npi_Deva, nso_Latn, nus_Latn, nya_Latn, oci_Latn, gaz_Latn, ory_Orya, pag_Latn, pan_Guru, pap_Latn, pol_Latn, por_Latn, prs_Arab, pbt_Arab, quy_Latn, ron_Latn, run_Latn, rus_Cyrl, sag_Latn, san_Deva, sat_Beng, scn_Latn, shn_Mymr, sin_Sinh, slk_Latn, slv_Latn, smo_Latn, sna_Latn, snd_Arab, som_Latn, sot_Latn, spa_Latn, als_Latn, srd_Latn, srp_Cyrl, ssw_Latn, sun_Latn, swe_Latn, swh_Latn, szl_Latn, tam_Taml, tat_Cyrl, tel_Telu, tgk_Cyrl, tgl_Latn, tha_Thai, tir_Ethi, taq_Latn, taq_Tfng, tpi_Latn, tsn_Latn, tso_Latn, tuk_Latn, tum_Latn, tur_Latn, twi_Latn, tzm_Tfng, uig_Arab, ukr_Cyrl, umb_Latn, urd_Arab, uzn_Latn, vec_Latn, vie_Latn, war_Latn, wol_Latn, xho_Latn, ydd_Hebr, yor_Latn, yue_Hant, zho_Hans, zho_Hant, zul_Latn

標籤

• ctranslate2
• int8
• float16
• nllb
• translation

數據集

• flores - 200

評估指標

• bleu
• spbleu
• chrf++

推理設置

推理功能已關閉（inference: false）

📄 許可證

本項目採用 "cc - by - nc - 4.0" 許可證。此為量化版本，許可證條件與原始Hugging Face倉庫一致。

📚 詳細文檔

原始模型描述

NLLB - 200

這是NLLB - 200蒸餾13億參數變體的模型卡片。你可以查看該特定檢查點的 評估指標。

• 訓練相關信息：論文中詳細描述了用於訓練NLLB - 200的具體訓練算法、數據以及處理高資源和低資源語言數據不平衡的策略。
• 參考資料：NLLB團隊等人的論文《No Language Left Behind: Scaling Human - Centered Machine Translation》，發表於Arxiv，2022年。
• 許可證：CC - BY - NC
• 問題反饋：可前往 此處 提交關於該模型的問題或建議。

預期用途

• 主要用途：NLLB - 200是一個機器翻譯模型，主要用於機器翻譯研究，尤其適用於低資源語言。它支持200種語言的單句翻譯。使用該模型的相關信息可在Fairseq代碼倉庫中找到，同時還包含訓練代碼以及評估和訓練數據的參考信息。
• 主要用戶：主要面向研究人員和機器翻譯研究社區。
• 不適用場景：NLLB - 200是一個研究模型，不適合用於生產部署。它基於通用領域文本數據進行訓練，不適合處理特定領域的文本，如醫學或法律領域。該模型也不適合用於文檔翻譯。由於模型訓練時輸入長度不超過512個標記，翻譯較長序列可能會導致質量下降。此外，NLLB - 200的翻譯結果不能作為認證翻譯使用。

評估指標

• 模型性能評估：NLLB - 200模型使用了機器翻譯社區廣泛採用的BLEU、spBLEU和chrF++指標進行評估。此外，還通過XSTS協議進行了人工評估，並測量了生成翻譯結果的毒性。

評估數據

• 數據集：使用了Flores - 200數據集，相關描述見論文第4節。
• 選擇動機：Flores - 200能夠全面覆蓋NLLB - 200支持的語言，因此被選用。
• 預處理：使用SentencePiece對按句子分割的原始文本數據進行預處理。SentencePiece模型與NLLB - 200一同發佈。

訓練數據

模型訓練使用了來自多種來源的平行多語言數據，論文第5節詳細報告了數據選擇和構建過程。此外，還使用了從Common Crawl構建的單語數據，更多細節見論文第5.2節。

倫理考量

在本研究中，我們採取了反思性的技術開發方法，以確保優先考慮人類用戶，並儘量減少可能轉移給他們的風險。儘管在整篇文章中都對倫理問題進行了反思，但仍需強調以下幾點：

• 本研究選擇的許多語言是低資源語言，尤其側重於非洲語言。雖然高質量的翻譯可以改善這些社區的教育和信息獲取，但也可能使數字素養較低的群體更容易受到錯誤信息或網絡詐騙的影響。如果不良行為者將我們的工作用於惡意活動，就可能出現後一種情況，這被視為一種非預期使用的示例。
• 在數據獲取方面，用於模型開發的訓練數據是從網絡上各種公開可用的來源挖掘而來的。儘管我們在數據清理方面投入了大量精力，但可能仍無法完全消除個人可識別信息。
• 儘管我們盡力優化翻譯質量，但模型仍可能產生誤譯。雖然這種可能性較低，但這可能會對依賴這些翻譯做出重要決策的人產生不利影響（特別是在涉及健康和安全的情況下）。

注意事項和建議

我們的模型僅在維基媒體領域進行了測試，對NLLB - MD支持的其他領域的研究有限。此外，支持的語言可能存在模型未涵蓋的變體，用戶應進行適當評估。

碳排放詳情

二氧化碳（CO2e）排放量估計見論文第8.8節。