Indicbart XLSum

🚀 IndicBART - XLSum 多语言预训练模型

IndicBART - XLSum 是一个基于多语言独立书写系统 IndicBART 的序列到序列预训练模型，专注于印度语系语言。它目前支持 7 种印度语言，基于 mBART 架构构建。

✨ 主要特性

• 支持语言广泛：支持孟加拉语、古吉拉特语、印地语、马拉地语、旁遮普语、泰米尔语和泰卢固语。并非所有这些语言都被 mBART50 和 mT5 所支持。
• 模型小巧高效：该模型比 mBART 和 mT5（- base）模型小得多，因此在微调和解码时计算成本更低。
• 优质数据训练：在 XLSum 语料库 的印度语部分上进行训练。
• 无需脚本映射：每种语言都使用其自身的书写系统，因此无需进行与天城文之间的脚本映射。

你可以在这篇 论文 中了解有关 IndicBARTSS 的更多信息。

🚀 快速开始

安装依赖

本项目依赖 transformers 库，你可以使用以下命令进行安装：

pip install transformers

代码示例

from transformers import MBartForConditionalGeneration, AutoModelForSeq2SeqLM
from transformers import AlbertTokenizer, AutoTokenizer

# 加载分词器
tokenizer = AlbertTokenizer.from_pretrained("ai4bharat/IndicBART-XLSum", do_lower_case=False, use_fast=False, keep_accents=True)

# 或者使用以下方式加载分词器
# tokenizer = AlbertTokenizer.from_pretrained("ai4bharat/IndicBART-XLSum", do_lower_case=False, use_fast=False, keep_accents=True)

# 加载模型
model = AutoModelForSeq2SeqLM.from_pretrained("ai4bharat/IndicBART-XLSum")

# 或者使用以下方式加载模型
# model = MBartForConditionalGeneration.from_pretrained("ai4bharat/IndicBART-XLSum")

# 一些初始映射
bos_id = tokenizer._convert_token_to_id_with_added_voc("<s>")
eos_id = tokenizer._convert_token_to_id_with_added_voc("</s>")
pad_id = tokenizer._convert_token_to_id_with_added_voc("<pad>")
# 要获取语言 ID，请使用 ['<2bn>', '<2gu>', '<2hi>', '<2mr>', '<2pa>', '<2ta>', '<2te>'] 中的任意一个

# 首先对输入和输出进行分词。以下格式是 IndicBART - XLSum 的训练格式，因此输入应为 "Sentence </s> <2xx>"，其中 xx 是语言代码。同样，输出应为 "<2yy> Sentence </s>"。
inp = tokenizer("टेसा जॉवल का कहना है कि मृतकों और लापता लोगों के परिजनों की मदद के लिए एक केंद्र स्थापित किया जा रहा है. उन्होंने इस हादसे के तीन के बाद भी मृतकों की सूची जारी करने में हो रही देरी के बारे में स्पष्टीकरण देते हुए कहा है शवों की ठीक पहचान होना ज़रूरी है. पुलिस के अनुसार धमाकों में मारे गए लोगों की संख्या अब 49 हो गई है और अब भी 20 से ज़्यादा लोग लापता हैं. पुलिस के अनुसार लंदन पर हमले योजनाबद्ध तरीके से हुए और भूमिगत रेलगाड़ियों में विस्फोट तो 50 सैकेंड के भीतर हुए. पहचान की प्रक्रिया किंग्स क्रॉस स्टेशन के पास सुरंग में धमाके से क्षतिग्रस्त रेल कोचों में अब भी पड़े शवों के बारे में स्थिति साफ नहीं है और पुलिस ने आगाह किया है कि हताहतों की संख्या बढ़ सकती है. पुलिस, न्यायिक अधिकारियों, चिकित्सकों और अन्य विशेषज्ञों का एक आयोग बनाया गया है जिसकी देख-रेख में शवों की पहचान की प्रक्रिया पूरी होगी. महत्वपूर्ण है कि गुरुवार को लंदन में मृतकों के सम्मान में सार्वजनिक समारोह होगा जिसमें उन्हें श्रद्धाँजलि दी जाएगी और दो मिनट का मौन रखा जाएगा. पुलिस का कहना है कि वह इस्लामी चरमपंथी संगठन अबू हफ़्स अल-मासरी ब्रिगेड्स का इन धमाकों के बारे में किए गए दावे को गंभीरता से ले रही है. 'धमाके पचास सेकेंड में हुए' पुलिस के अनुसार लंदन पर हुए हमले योजनाबद्ध तरीके से किए गए थे. पुलिस के अनुसार भूमिगत रेलों में तीन बम अलग-अलग जगहों लगभग अचानक फटे थे. इसलिए पुलिस को संदेह है कि धमाकों में टाइमिंग उपकरणों का उपयोग किया गया होगा. यह भी तथ्य सामने आया है कि धमाकों में आधुनिक किस्म के विस्फोटकों का उपयोग किया गया था. पहले माना जा रहा था कि हमलों में देसी विस्फोटकों का इस्तेमाल किया गया होगा. पुलिस मुख्यालय स्कॉटलैंड यार्ड में सहायक उपायुक्त ब्रायन पैडिक ने बताया कि भूमिगत रेलों में तीन धमाके 50 सेकेंड के अंतराल के भीतर हुए थे. धमाके गुरुवार सुबह आठ बजकर पचास मिनट पर हुए थे. लंदन अंडरग्राउंड से मिली विस्तृत तकनीकी सूचनाओं से यह तथ्य सामने आया है. इससे पहले बम धमाकों में अच्छे खासे अंतराल की बात की जा रही थी.</s> <2hi>", add_special_tokens=False, return_tensors="pt", padding=True).input_ids

out = tokenizer("<2hi>परिजनों की मदद की ज़िम्मेदारी मंत्री पर </s>", add_special_tokens=False, return_tensors="pt", padding=True).input_ids 
model_outputs = model(input_ids=inp, decoder_input_ids=out[:, 0:-1], labels=out[:, 1:])

# 计算损失
model_outputs.loss  # 这不是标签平滑后的损失

# 获取对数概率
model_outputs.logits

# 生成文本。请原谅代码有些杂乱。注意 decoder_start_token_id。
model.eval()  # 将丢弃率设置为零
model_output = model.generate(inp, use_cache=True, num_beams=4, max_length=20, min_length=1, early_stopping=True, pad_token_id=pad_id, bos_token_id=bos_id, eos_token_id=eos_id, decoder_start_token_id=tokenizer._convert_token_to_id_with_added_voc("<2en>"))

# 解码以获取输出字符串
decoded_output = tokenizer.decode(model_output[0], skip_special_tokens=True, clean_up_tokenization_spaces=False)

print(decoded_output)  # 输出：लंदन धमाकों में मारे गए लोगों की सूची जारी

📚 详细文档

基准测试

IndicBART - XLSum 在测试集上的得分如下：

注意事项

⚠️ 重要提示

本项目与 transformers 库的最新版本兼容，但开发时使用的是 4.3.2 版本，因此如果可能的话，建议使用 4.3.2 版本。

💡 使用建议

虽然文档中仅展示了如何获取对数概率、损失以及如何生成输出，但你可以执行 MBartForConditionalGeneration 类所能执行的几乎所有操作，详情请参考 这里。需要注意的是，这里使用的分词器基于 sentencepiece 而不是 BPE，因此使用的是 AlbertTokenizer 类而不是 MBartTokenizer 类。