Gpt2 Bangla Summurizer

🚀 このモデルはベンガル語の文章を要約することを目的としています。

このモデルは、ベンガル語の文章を要約することを目的として開発されています。

🚀 クイックスタート

このモデルは、ベンガル語の文章を要約するために使用できます。ただし、主に新聞のデータで学習されているため、ベンガル語の物語や対話、抜粋の要約には適していません。

✨ 主な機能

• ベンガル語の文章を要約することができます。

📦 インストール

このセクションでは、インストールに関する具体的な手順が提供されていません。

💻 使用例

基本的な使用法

from transformers import GPT2LMHeadModel, AutoTokenizer
import re

tokenizer = AutoTokenizer.from_pretrained("flax-community/gpt2-bengali")
model = GPT2LMHeadModel.from_pretrained("faridulreza/gpt2-bangla-summurizer")

model.to("cuda")

BEGIN_TOKEN = "<।summary_begin।>"
END_TOKEN = " <।summary_end।>"
BEGIN_TOKEN_ALT = "<।sum_begin।>"
END_TOKEN_ALT = " <।sum_end।>"
SUMMARY_TOKEN = "<।summary।>"

def processTxt(txt):
    txt = re.sub(r"।", "। ", txt)
    txt = re.sub(r",", ", ", txt)
    txt = re.sub(r"!", "। ", txt)
    txt = re.sub(r"\?", "। ", txt)
    txt = re.sub(r"\"", "", txt)
    txt = re.sub(r"'", "", txt)
    txt = re.sub(r"’", "", txt)
    txt = re.sub(r"’", "", txt)
    txt = re.sub(r"‘", "", txt)
    txt = re.sub(r";", "। ", txt)

    txt = re.sub(r"\s+", " ", txt)

    return txt


def index_of(val, in_text, after=0):
    try:
        return in_text.index(val, after)
    except ValueError:
        return -1

def summarize(txt):
    txt = processTxt(txt.strip())
    txt = BEGIN_TOKEN + txt + SUMMARY_TOKEN

    inputs = tokenizer(txt, max_length=800, truncation=True, return_tensors="pt")
    inputs.to("cuda")
    output = model.generate(inputs["input_ids"], max_length=len(txt) + 220, pad_token_id=tokenizer.eos_token_id)

    txt = tokenizer.batch_decode(output, skip_special_tokens=True)[0]

    start = index_of(SUMMARY_TOKEN, txt) + len(SUMMARY_TOKEN)

    print("Whole text completion: \n",txt)
    if start == len(SUMMARY_TOKEN) - 1:
        return "No Summary!"

    end = index_of(END_TOKEN, txt, start)

    if end == -1:
        end = index_of(END_TOKEN_ALT, txt, start)

    if end == -1:
        end = index_of(BEGIN_TOKEN, txt, start)

    if end == -1:
        return txt[start:].strip()

    txt = txt[start:end].strip()

    end = index_of(SUMMARY_TOKEN,txt)

    if end == -1:
        return txt
    else:
        return txt[:end].strip()



summarize('your_bengali_text')

📚 ドキュメント

モデルの説明

flax-community/gpt2-bengali は、以下のデータセットでファインチューニングされました。

• BANSData: A Dataset for Bengali Abstractive News Summarization

• Bangla Summarization Dataset(Prothom Alo)

• 開発者: Faridul Reza Sagor & Abdul Wadud Shakib

• モデルの種類: GPT2LMHeadModel

• 言語 (NLP): ベンガル語

• ファインチューニング元のモデル: flax-community/gpt2-bengali

利用に関する注意事項

⚠️ 重要提示

このモデルは主に新聞のデータで学習されているため、ベンガル語の物語や対話、抜粋の要約には適していません。

連絡先

faridul.reza.sagor@gmail.com