Llama2 13b Language Translate

🚀 mBART - 50 一对多多语言机器翻译GGML

mBART - 50 一对多多语言机器翻译GGML模型可将英语翻译成多种语言，为跨语言交流提供了强大的支持，有效解决了语言障碍问题，提升了信息传播的效率。

🚀 快速开始

本模型是 TheBloke - Llama - 2 - 13B 的微调检查点。mbart - large - 50 - one - to - many - mmt 针对多语言机器翻译进行了微调。它在 Multilingual Translation with Extensible Multilingual Pretraining and Finetuning 论文中被提出。

该模型能够将英语翻译成以下提到的其他49种语言。要翻译成目标语言，需将目标语言ID强制设为第一个生成的标记。要实现这一点，可将 forced_bos_token_id 参数传递给 generate 方法。

💻 使用示例

基础用法

from transformers import MBartForConditionalGeneration, MBart50TokenizerFast
article_en = "The head of the United Nations says there is no military solution in Syria"
model = MBartForConditionalGeneration.from_pretrained("SnypzZz/Llama2-13b-Language-translate")
tokenizer = MBart50TokenizerFast.from_pretrained("SnypzZz/Llama2-13b-Language-translate", src_lang="en_XX")

model_inputs = tokenizer(article_en, return_tensors="pt")

# translate from English to Hindi
generated_tokens = model.generate(
    **model_inputs,
    forced_bos_token_id=tokenizer.lang_code_to_id["hi_IN"]
)
tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)
# => 'संयुक्त राष्ट्र के नेता कहते हैं कि सीरिया में कोई सैन्य समाधान नहीं है'

# translate from English to Chinese
generated_tokens = model.generate(
    **model_inputs,
    forced_bos_token_id=tokenizer.lang_code_to_id["zh_CN"]
)
tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)
# => '联合国首脑说,叙利亚没有军事解决办法'

拓展说明

可访问 [模型中心](https://huggingface.co/models?filter=mbart - 50) 查找更多微调版本。

📚 详细文档

支持的语言

阿拉伯语 (ar_AR)、捷克语 (cs_CZ)、德语 (de_DE)、英语 (en_XX)、西班牙语 (es_XX)、爱沙尼亚语 (et_EE)、芬兰语 (fi_FI)、法语 (fr_XX)、古吉拉特语 (gu_IN)、印地语 (hi_IN)、意大利语 (it_IT)、日语 (ja_XX)、哈萨克语 (kk_KZ)、韩语 (ko_KR)、立陶宛语 (lt_LT)、拉脱维亚语 (lv_LV)、缅甸语 (my_MM)、尼泊尔语 (ne_NP)、荷兰语 (nl_XX)、罗马尼亚语 (ro_RO)、俄语 (ru_RU)、僧伽罗语 (si_LK)、土耳其语 (tr_TR)、越南语 (vi_VN)、中文 (zh_CN)、南非荷兰语 (af_ZA)、阿塞拜疆语 (az_AZ)、孟加拉语 (bn_IN)、波斯语 (fa_IR)、希伯来语 (he_IL)、克罗地亚语 (hr_HR)、印尼语 (id_ID)、格鲁吉亚语 (ka_GE)、高棉语 (km_KH)、马其顿语 (mk_MK)、马拉雅拉姆语 (ml_IN)、蒙古语 (mn_MN)、马拉地语 (mr_IN)、波兰语 (pl_PL)、普什图语 (ps_AF)、葡萄牙语 (pt_XX)、瑞典语 (sv_SE)、斯瓦希里语 (sw_KE)、泰米尔语 (ta_IN)、泰卢固语 (te_IN)、泰语 (th_TH)、他加禄语 (tl_XX)、乌克兰语 (uk_UA)、乌尔都语 (ur_PK)、科萨语 (xh_ZA)、加利西亚语 (gl_ES)、斯洛文尼亚语 (sl_SI)

BibTeX引用信息

@article{tang2020multilingual,
    title={Multilingual Translation with Extensible Multilingual Pretraining and Finetuning},
    author={Yuqing Tang and Chau Tran and Xian Li and Peng-Jen Chen and Naman Goyal and Vishrav Chaudhary and Jiatao Gu and Angela Fan},
    year={2020},
    eprint={2008.00401},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

📬 社区交流

Discord

如需进一步支持，或参与有关这些模型和人工智能的讨论，欢迎加入： SnypzZz的Discord服务器

另外，本人是个游戏狂热者，这也是我的游戏服务器。所以如果有人想玩《无畏契约》或其他游戏，随时可以@我 --- @SNYPER#1942。

Instagram

SnypzZz的Instagram

LinkedIn

SnypzZz的领英主页