Nllb 200 Distilled 1.3B Ct2 Int8

🚀 基于Ctranslate2的快速推理模型

本项目借助C++在CPU或GPU上进行int8推理，在加速推理的同时，可将内存使用量降低2 - 4倍。它是 facebook/nllb - 200 - distilled - 1.3B 的量化版本。

🚀 快速开始

pip install ctranslate2

此检查点与 ctranslate2>=3.22.0 兼容：

• 当 device="cuda" 时，使用 compute_type=int8_float16
• 当 device="cpu" 时，使用 compute_type=int8

本模型于2023年11月30日使用 CTranslate2==3.22.0 进行转换，转换代码如下：

from ctranslate2.converters import TransformersConverter
TransformersConverter(
    "facebook/nllb-200-distilled-1.3B",
    activation_scales=None,
    copy_files=['tokenizer.json', 'generation_config.json', 'README.md', 'special_tokens_map.json', 'tokenizer_config.json', '.gitattributes'],
    load_as_float16=True,
    revision=None,
    low_cpu_mem_usage=True,
    trust_remote_code=True,
).convert(
    output_dir=str(tmp_dir),
    vmap = None, 
    quantization="int8",
    force = True,
)

✨ 主要特性

• 多语言支持：支持众多语言，包括但不限于 ace、acm、acq、aeb 等。
• 快速推理：利用Ctranslate2的int8推理，在CPU或GPU上加速推理并降低内存使用。
• 量化版本：是 facebook/nllb - 200 - distilled - 1.3B 的量化版本。

支持语言列表

ace, acm, acq, aeb, af, ajp, ak, als, am, apc, ar, ars, ary, arz, as, ast, awa, ayr, azb, azj, ba, bm, ban, be, bem, bn, bho, bjn, bo, bs, bug, bg, ca, ceb, cs, cjk, ckb, crh, cy, da, de, dik, dyu, dz, el, en, eo, et, eu, ee, fo, fj, fi, fon, fr, fur, fuv, gaz, gd, ga, gl, gn, gu, ht, ha, he, hi, hne, hr, hu, hy, ig, ilo, id, is, it, jv, ja, kab, kac, kam, kn, ks, ka, kk, kbp, kea, khk, km, ki, rw, ky, kmb, kmr, knc, kg, ko, lo, lij, li, ln, lt, lmo, ltg, lb, lua, lg, luo, lus, lvs, mag, mai, ml, mar, min, mk, mt, mni, mos, mi, my, nl, nn, nb, npi, nso, nus, ny, oc, ory, pag, pa, pap, pbt, pes, plt, pl, pt, prs, quy, ro, rn, ru, sg, sa, sat, scn, shn, si, sk, sl, sm, sn, sd, so, st, es, sc, sr, ss, su, sv, swh, szl, ta, taq, tt, te, tg, tl, th, ti, tpi, tn, ts, tk, tum, tr, tw, tzm, ug, uk, umb, ur, uzn, vec, vi, war, wo, xh, ydd, yo, yue, zh, zsm, zu

语言详情

ace_Arab, ace_Latn, acm_Arab, acq_Arab, aeb_Arab, afr_Latn, ajp_Arab, aka_Latn, amh_Ethi, apc_Arab, arb_Arab, ars_Arab, ary_Arab, arz_Arab, asm_Beng, ast_Latn, awa_Deva, ayr_Latn, azb_Arab, azj_Latn, bak_Cyrl, bam_Latn, ban_Latn,bel_Cyrl, bem_Latn, ben_Beng, bho_Deva, bjn_Arab, bjn_Latn, bod_Tibt, bos_Latn, bug_Latn, bul_Cyrl, cat_Latn, ceb_Latn, ces_Latn, cjk_Latn, ckb_Arab, crh_Latn, cym_Latn, dan_Latn, deu_Latn, dik_Latn, dyu_Latn, dzo_Tibt, ell_Grek, eng_Latn, epo_Latn, est_Latn, eus_Latn, ewe_Latn, fao_Latn, pes_Arab, fij_Latn, fin_Latn, fon_Latn, fra_Latn, fur_Latn, fuv_Latn, gla_Latn, gle_Latn, glg_Latn, grn_Latn, guj_Gujr, hat_Latn, hau_Latn, heb_Hebr, hin_Deva, hne_Deva, hrv_Latn, hun_Latn, hye_Armn, ibo_Latn, ilo_Latn, ind_Latn, isl_Latn, ita_Latn, jav_Latn, jpn_Jpan, kab_Latn, kac_Latn, kam_Latn, kan_Knda, kas_Arab, kas_Deva, kat_Geor, knc_Arab, knc_Latn, kaz_Cyrl, kbp_Latn, kea_Latn, khm_Khmr, kik_Latn, kin_Latn, kir_Cyrl, kmb_Latn, kon_Latn, kor_Hang, kmr_Latn, lao_Laoo, lvs_Latn, lij_Latn, lim_Latn, lin_Latn, lit_Latn, lmo_Latn, ltg_Latn, ltz_Latn, lua_Latn, lug_Latn, luo_Latn, lus_Latn, mag_Deva, mai_Deva, mal_Mlym, mar_Deva, min_Latn, mkd_Cyrl, plt_Latn, mlt_Latn, mni_Beng, khk_Cyrl, mos_Latn, mri_Latn, zsm_Latn, mya_Mymr, nld_Latn, nno_Latn, nob_Latn, npi_Deva, nso_Latn, nus_Latn, nya_Latn, oci_Latn, gaz_Latn, ory_Orya, pag_Latn, pan_Guru, pap_Latn, pol_Latn, por_Latn, prs_Arab, pbt_Arab, quy_Latn, ron_Latn, run_Latn, rus_Cyrl, sag_Latn, san_Deva, sat_Beng, scn_Latn, shn_Mymr, sin_Sinh, slk_Latn, slv_Latn, smo_Latn, sna_Latn, snd_Arab, som_Latn, sot_Latn, spa_Latn, als_Latn, srd_Latn, srp_Cyrl, ssw_Latn, sun_Latn, swe_Latn, swh_Latn, szl_Latn, tam_Taml, tat_Cyrl, tel_Telu, tgk_Cyrl, tgl_Latn, tha_Thai, tir_Ethi, taq_Latn, taq_Tfng, tpi_Latn, tsn_Latn, tso_Latn, tuk_Latn, tum_Latn, tur_Latn, twi_Latn, tzm_Tfng, uig_Arab, ukr_Cyrl, umb_Latn, urd_Arab, uzn_Latn, vec_Latn, vie_Latn, war_Latn, wol_Latn, xho_Latn, ydd_Hebr, yor_Latn, yue_Hant, zho_Hans, zho_Hant, zul_Latn

标签

• ctranslate2
• int8
• float16
• nllb
• translation

数据集

• flores - 200

评估指标

• bleu
• spbleu
• chrf++

推理设置

推理功能已关闭（inference: false）

📄 许可证

本项目采用 "cc - by - nc - 4.0" 许可证。此为量化版本，许可证条件与原始Hugging Face仓库一致。

📚 详细文档

原始模型描述

NLLB - 200

这是NLLB - 200蒸馏13亿参数变体的模型卡片。你可以查看该特定检查点的 评估指标。

• 训练相关信息：论文中详细描述了用于训练NLLB - 200的具体训练算法、数据以及处理高资源和低资源语言数据不平衡的策略。
• 参考资料：NLLB团队等人的论文《No Language Left Behind: Scaling Human - Centered Machine Translation》，发表于Arxiv，2022年。
• 许可证：CC - BY - NC
• 问题反馈：可前往 此处 提交关于该模型的问题或建议。

预期用途

• 主要用途：NLLB - 200是一个机器翻译模型，主要用于机器翻译研究，尤其适用于低资源语言。它支持200种语言的单句翻译。使用该模型的相关信息可在Fairseq代码仓库中找到，同时还包含训练代码以及评估和训练数据的参考信息。
• 主要用户：主要面向研究人员和机器翻译研究社区。
• 不适用场景：NLLB - 200是一个研究模型，不适合用于生产部署。它基于通用领域文本数据进行训练，不适合处理特定领域的文本，如医学或法律领域。该模型也不适合用于文档翻译。由于模型训练时输入长度不超过512个标记，翻译较长序列可能会导致质量下降。此外，NLLB - 200的翻译结果不能作为认证翻译使用。

评估指标

• 模型性能评估：NLLB - 200模型使用了机器翻译社区广泛采用的BLEU、spBLEU和chrF++指标进行评估。此外，还通过XSTS协议进行了人工评估，并测量了生成翻译结果的毒性。

评估数据

• 数据集：使用了Flores - 200数据集，相关描述见论文第4节。
• 选择动机：Flores - 200能够全面覆盖NLLB - 200支持的语言，因此被选用。
• 预处理：使用SentencePiece对按句子分割的原始文本数据进行预处理。SentencePiece模型与NLLB - 200一同发布。

训练数据

模型训练使用了来自多种来源的平行多语言数据，论文第5节详细报告了数据选择和构建过程。此外，还使用了从Common Crawl构建的单语数据，更多细节见论文第5.2节。

伦理考量

在本研究中，我们采取了反思性的技术开发方法，以确保优先考虑人类用户，并尽量减少可能转移给他们的风险。尽管在整篇文章中都对伦理问题进行了反思，但仍需强调以下几点：

• 本研究选择的许多语言是低资源语言，尤其侧重于非洲语言。虽然高质量的翻译可以改善这些社区的教育和信息获取，但也可能使数字素养较低的群体更容易受到错误信息或网络诈骗的影响。如果不良行为者将我们的工作用于恶意活动，就可能出现后一种情况，这被视为一种非预期使用的示例。
• 在数据获取方面，用于模型开发的训练数据是从网络上各种公开可用的来源挖掘而来的。尽管我们在数据清理方面投入了大量精力，但可能仍无法完全消除个人可识别信息。
• 尽管我们尽力优化翻译质量，但模型仍可能产生误译。虽然这种可能性较低，但这可能会对依赖这些翻译做出重要决策的人产生不利影响（特别是在涉及健康和安全的情况下）。

注意事项和建议

我们的模型仅在维基媒体领域进行了测试，对NLLB - MD支持的其他领域的研究有限。此外，支持的语言可能存在模型未涵盖的变体，用户应进行适当评估。

碳排放详情

二氧化碳（CO2e）排放量估计见论文第8.8节。