Indicbart XLSum

🚀 IndicBART - XLSum 多語言預訓練模型

IndicBART - XLSum 是一個基於多語言獨立書寫系統 IndicBART 的序列到序列預訓練模型，專注於印度語系語言。它目前支持 7 種印度語言，基於 mBART 架構構建。

✨ 主要特性

• 支持語言廣泛：支持孟加拉語、古吉拉特語、印地語、馬拉地語、旁遮普語、泰米爾語和泰盧固語。並非所有這些語言都被 mBART50 和 mT5 所支持。
• 模型小巧高效：該模型比 mBART 和 mT5（- base）模型小得多，因此在微調和解碼時計算成本更低。
• 優質數據訓練：在 XLSum 語料庫 的印度語部分上進行訓練。
• 無需腳本映射：每種語言都使用其自身的書寫系統，因此無需進行與天城文之間的腳本映射。

你可以在這篇 論文 中瞭解有關 IndicBARTSS 的更多信息。

🚀 快速開始

安裝依賴

本項目依賴 transformers 庫，你可以使用以下命令進行安裝：

pip install transformers

代碼示例

from transformers import MBartForConditionalGeneration, AutoModelForSeq2SeqLM
from transformers import AlbertTokenizer, AutoTokenizer

# 加載分詞器
tokenizer = AlbertTokenizer.from_pretrained("ai4bharat/IndicBART-XLSum", do_lower_case=False, use_fast=False, keep_accents=True)

# 或者使用以下方式加載分詞器
# tokenizer = AlbertTokenizer.from_pretrained("ai4bharat/IndicBART-XLSum", do_lower_case=False, use_fast=False, keep_accents=True)

# 加載模型
model = AutoModelForSeq2SeqLM.from_pretrained("ai4bharat/IndicBART-XLSum")

# 或者使用以下方式加載模型
# model = MBartForConditionalGeneration.from_pretrained("ai4bharat/IndicBART-XLSum")

# 一些初始映射
bos_id = tokenizer._convert_token_to_id_with_added_voc("<s>")
eos_id = tokenizer._convert_token_to_id_with_added_voc("</s>")
pad_id = tokenizer._convert_token_to_id_with_added_voc("<pad>")
# 要獲取語言 ID，請使用 ['<2bn>', '<2gu>', '<2hi>', '<2mr>', '<2pa>', '<2ta>', '<2te>'] 中的任意一個

# 首先對輸入和輸出進行分詞。以下格式是 IndicBART - XLSum 的訓練格式，因此輸入應為 "Sentence </s> <2xx>"，其中 xx 是語言代碼。同樣，輸出應為 "<2yy> Sentence </s>"。
inp = tokenizer("टेसा जॉवल का कहना है कि मृतकों और लापता लोगों के परिजनों की मदद के लिए एक केंद्र स्थापित किया जा रहा है. उन्होंने इस हादसे के तीन के बाद भी मृतकों की सूची जारी करने में हो रही देरी के बारे में स्पष्टीकरण देते हुए कहा है शवों की ठीक पहचान होना ज़रूरी है. पुलिस के अनुसार धमाकों में मारे गए लोगों की संख्या अब 49 हो गई है और अब भी 20 से ज़्यादा लोग लापता हैं. पुलिस के अनुसार लंदन पर हमले योजनाबद्ध तरीके से हुए और भूमिगत रेलगाड़ियों में विस्फोट तो 50 सैकेंड के भीतर हुए. पहचान की प्रक्रिया किंग्स क्रॉस स्टेशन के पास सुरंग में धमाके से क्षतिग्रस्त रेल कोचों में अब भी पड़े शवों के बारे में स्थिति साफ नहीं है और पुलिस ने आगाह किया है कि हताहतों की संख्या बढ़ सकती है. पुलिस, न्यायिक अधिकारियों, चिकित्सकों और अन्य विशेषज्ञों का एक आयोग बनाया गया है जिसकी देख-रेख में शवों की पहचान की प्रक्रिया पूरी होगी. महत्वपूर्ण है कि गुरुवार को लंदन में मृतकों के सम्मान में सार्वजनिक समारोह होगा जिसमें उन्हें श्रद्धाँजलि दी जाएगी और दो मिनट का मौन रखा जाएगा. पुलिस का कहना है कि वह इस्लामी चरमपंथी संगठन अबू हफ़्स अल-मासरी ब्रिगेड्स का इन धमाकों के बारे में किए गए दावे को गंभीरता से ले रही है. 'धमाके पचास सेकेंड में हुए' पुलिस के अनुसार लंदन पर हुए हमले योजनाबद्ध तरीके से किए गए थे. पुलिस के अनुसार भूमिगत रेलों में तीन बम अलग-अलग जगहों लगभग अचानक फटे थे. इसलिए पुलिस को संदेह है कि धमाकों में टाइमिंग उपकरणों का उपयोग किया गया होगा. यह भी तथ्य सामने आया है कि धमाकों में आधुनिक किस्म के विस्फोटकों का उपयोग किया गया था. पहले माना जा रहा था कि हमलों में देसी विस्फोटकों का इस्तेमाल किया गया होगा. पुलिस मुख्यालय स्कॉटलैंड यार्ड में सहायक उपायुक्त ब्रायन पैडिक ने बताया कि भूमिगत रेलों में तीन धमाके 50 सेकेंड के अंतराल के भीतर हुए थे. धमाके गुरुवार सुबह आठ बजकर पचास मिनट पर हुए थे. लंदन अंडरग्राउंड से मिली विस्तृत तकनीकी सूचनाओं से यह तथ्य सामने आया है. इससे पहले बम धमाकों में अच्छे खासे अंतराल की बात की जा रही थी.</s> <2hi>", add_special_tokens=False, return_tensors="pt", padding=True).input_ids

out = tokenizer("<2hi>परिजनों की मदद की ज़िम्मेदारी मंत्री पर </s>", add_special_tokens=False, return_tensors="pt", padding=True).input_ids 
model_outputs = model(input_ids=inp, decoder_input_ids=out[:, 0:-1], labels=out[:, 1:])

# 計算損失
model_outputs.loss  # 這不是標籤平滑後的損失

# 獲取對數概率
model_outputs.logits

# 生成文本。請原諒代碼有些雜亂。注意 decoder_start_token_id。
model.eval()  # 將丟棄率設置為零
model_output = model.generate(inp, use_cache=True, num_beams=4, max_length=20, min_length=1, early_stopping=True, pad_token_id=pad_id, bos_token_id=bos_id, eos_token_id=eos_id, decoder_start_token_id=tokenizer._convert_token_to_id_with_added_voc("<2en>"))

# 解碼以獲取輸出字符串
decoded_output = tokenizer.decode(model_output[0], skip_special_tokens=True, clean_up_tokenization_spaces=False)

print(decoded_output)  # 輸出：लंदन धमाकों में मारे गए लोगों की सूची जारी

📚 詳細文檔

基準測試

IndicBART - XLSum 在測試集上的得分如下：

注意事項

⚠️ 重要提示

本項目與 transformers 庫的最新版本兼容，但開發時使用的是 4.3.2 版本，因此如果可能的話，建議使用 4.3.2 版本。

💡 使用建議

雖然文檔中僅展示瞭如何獲取對數概率、損失以及如何生成輸出，但你可以執行 MBartForConditionalGeneration 類所能執行的幾乎所有操作，詳情請參考 這裡。需要注意的是，這裡使用的分詞器基於 sentencepiece 而不是 BPE，因此使用的是 AlbertTokenizer 類而不是 MBartTokenizer 類。