Llama2 13b Language Translate

🚀 mBART - 50 一對多多語言機器翻譯GGML

mBART - 50 一對多多語言機器翻譯GGML模型可將英語翻譯成多種語言，為跨語言交流提供了強大的支持，有效解決了語言障礙問題，提升了信息傳播的效率。

🚀 快速開始

本模型是 TheBloke - Llama - 2 - 13B 的微調檢查點。mbart - large - 50 - one - to - many - mmt 針對多語言機器翻譯進行了微調。它在 Multilingual Translation with Extensible Multilingual Pretraining and Finetuning 論文中被提出。

該模型能夠將英語翻譯成以下提到的其他49種語言。要翻譯成目標語言，需將目標語言ID強制設為第一個生成的標記。要實現這一點，可將 forced_bos_token_id 參數傳遞給 generate 方法。

💻 使用示例

基礎用法

from transformers import MBartForConditionalGeneration, MBart50TokenizerFast
article_en = "The head of the United Nations says there is no military solution in Syria"
model = MBartForConditionalGeneration.from_pretrained("SnypzZz/Llama2-13b-Language-translate")
tokenizer = MBart50TokenizerFast.from_pretrained("SnypzZz/Llama2-13b-Language-translate", src_lang="en_XX")

model_inputs = tokenizer(article_en, return_tensors="pt")

# translate from English to Hindi
generated_tokens = model.generate(
    **model_inputs,
    forced_bos_token_id=tokenizer.lang_code_to_id["hi_IN"]
)
tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)
# => 'संयुक्त राष्ट्र के नेता कहते हैं कि सीरिया में कोई सैन्य समाधान नहीं है'

# translate from English to Chinese
generated_tokens = model.generate(
    **model_inputs,
    forced_bos_token_id=tokenizer.lang_code_to_id["zh_CN"]
)
tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)
# => '聯合國首腦說,敘利亞沒有軍事解決辦法'

拓展說明

可訪問 [模型中心](https://huggingface.co/models?filter=mbart - 50) 查找更多微調版本。

📚 詳細文檔

支持的語言

阿拉伯語 (ar_AR)、捷克語 (cs_CZ)、德語 (de_DE)、英語 (en_XX)、西班牙語 (es_XX)、愛沙尼亞語 (et_EE)、芬蘭語 (fi_FI)、法語 (fr_XX)、古吉拉特語 (gu_IN)、印地語 (hi_IN)、意大利語 (it_IT)、日語 (ja_XX)、哈薩克語 (kk_KZ)、韓語 (ko_KR)、立陶宛語 (lt_LT)、拉脫維亞語 (lv_LV)、緬甸語 (my_MM)、尼泊爾語 (ne_NP)、荷蘭語 (nl_XX)、羅馬尼亞語 (ro_RO)、俄語 (ru_RU)、僧伽羅語 (si_LK)、土耳其語 (tr_TR)、越南語 (vi_VN)、中文 (zh_CN)、南非荷蘭語 (af_ZA)、阿塞拜疆語 (az_AZ)、孟加拉語 (bn_IN)、波斯語 (fa_IR)、希伯來語 (he_IL)、克羅地亞語 (hr_HR)、印尼語 (id_ID)、格魯吉亞語 (ka_GE)、高棉語 (km_KH)、馬其頓語 (mk_MK)、馬拉雅拉姆語 (ml_IN)、蒙古語 (mn_MN)、馬拉地語 (mr_IN)、波蘭語 (pl_PL)、普什圖語 (ps_AF)、葡萄牙語 (pt_XX)、瑞典語 (sv_SE)、斯瓦希里語 (sw_KE)、泰米爾語 (ta_IN)、泰盧固語 (te_IN)、泰語 (th_TH)、他加祿語 (tl_XX)、烏克蘭語 (uk_UA)、烏爾都語 (ur_PK)、科薩語 (xh_ZA)、加利西亞語 (gl_ES)、斯洛文尼亞語 (sl_SI)

BibTeX引用信息

@article{tang2020multilingual,
    title={Multilingual Translation with Extensible Multilingual Pretraining and Finetuning},
    author={Yuqing Tang and Chau Tran and Xian Li and Peng-Jen Chen and Naman Goyal and Vishrav Chaudhary and Jiatao Gu and Angela Fan},
    year={2020},
    eprint={2008.00401},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

📬 社區交流

Discord

如需進一步支持，或參與有關這些模型和人工智能的討論，歡迎加入： SnypzZz的Discord服務器

另外，本人是個遊戲狂熱者，這也是我的遊戲服務器。所以如果有人想玩《無畏契約》或其他遊戲，隨時可以@我 --- @SNYPER#1942。

Instagram

SnypzZz的Instagram

LinkedIn

SnypzZz的領英主頁