Gpt2 Bangla Summurizer

🚀 孟加拉語文本摘要模型

本模型旨在對孟加拉語文本進行摘要提取，通過在特定數據集上微調預訓練模型，能夠有效處理孟加拉語新聞文本的摘要任務。

🚀 快速開始

本模型主要用於對孟加拉語文本進行摘要提取。不過需要注意的是，由於該模型主要在報紙數據上進行訓練，因此在對孟加拉語故事、對話或摘錄進行摘要時效果不佳。

from transformers import GPT2LMHeadModel, AutoTokenizer
import re

tokenizer = AutoTokenizer.from_pretrained("flax-community/gpt2-bengali")
model = GPT2LMHeadModel.from_pretrained("faridulreza/gpt2-bangla-summurizer")

model.to("cuda")

BEGIN_TOKEN = "<।summary_begin।>"
END_TOKEN = " <।summary_end।>"
BEGIN_TOKEN_ALT = "<।sum_begin।>"
END_TOKEN_ALT = " <।sum_end।>"
SUMMARY_TOKEN = "<।summary।>"

def processTxt(txt):
    txt = re.sub(r"।", "। ", txt)
    txt = re.sub(r",", ", ", txt)
    txt = re.sub(r"!", "। ", txt)
    txt = re.sub(r"\?", "। ", txt)
    txt = re.sub(r"\"", "", txt)
    txt = re.sub(r"'", "", txt)
    txt = re.sub(r"’", "", txt)
    txt = re.sub(r"’", "", txt)
    txt = re.sub(r"‘", "", txt)
    txt = re.sub(r";", "। ", txt)

    txt = re.sub(r"\s+", " ", txt)

    return txt


def index_of(val, in_text, after=0):
    try:
        return in_text.index(val, after)
    except ValueError:
        return -1

def summarize(txt):
    txt = processTxt(txt.strip())
    txt = BEGIN_TOKEN + txt + SUMMARY_TOKEN

    inputs = tokenizer(txt, max_length=800, truncation=True, return_tensors="pt")
    inputs.to("cuda")
    output = model.generate(inputs["input_ids"], max_length=len(txt) + 220, pad_token_id=tokenizer.eos_token_id)

    txt = tokenizer.batch_decode(output, skip_special_tokens=True)[0]

    start = index_of(SUMMARY_TOKEN, txt) + len(SUMMARY_TOKEN)

    print("Whole text completion: \n",txt)
    if start == len(SUMMARY_TOKEN) - 1:
        return "No Summary!"

    end = index_of(END_TOKEN, txt, start)

    if end == -1:
        end = index_of(END_TOKEN_ALT, txt, start)

    if end == -1:
        end = index_of(BEGIN_TOKEN, txt, start)

    if end == -1:
        return txt[start:].strip()

    txt = txt[start:end].strip()

    end = index_of(SUMMARY_TOKEN,txt)

    if end == -1:
        return txt
    else:
        return txt[:end].strip()


summarize('your_bengali_text')

✨ 主要特性

• 針對性訓練：基於特定的孟加拉語新聞摘要數據集進行微調，適用於孟加拉語新聞文本的摘要任務。
• 模型類型：採用GPT2LMHeadModel，能夠有效學習文本的語言模式和語義信息。

📦 模型詳情

💻 使用示例

基礎用法

# 直接調用 summarize 函數對孟加拉語文本進行摘要
summarize('your_bengali_text')

📄 聯繫信息

如果您有任何問題或建議，可以通過以下郵箱聯繫開發者：faridul.reza.sagor@gmail.com