Bert2gpt Indonesian Summarization

🚀 印尼語BERT2BERT文本摘要模型

本項目是一個微調後的編碼器 - 解碼器模型，使用BERT-base和GPT2-small進行印尼語文本摘要任務，為印尼語文本的摘要提取提供了有效的解決方案。

🚀 快速開始

本模型基於 cahya 的 cahya/bert-base-indonesian-1.5G 和 cahya/gpt2-small-indonesian-522M，並使用 id_liputan6 數據集進行微調。

📦 安裝指南

此部分文檔未提供具體安裝命令，故跳過。

💻 使用示例

基礎用法

from transformers import BertTokenizer, EncoderDecoderModel

tokenizer = BertTokenizer.from_pretrained("cahya/bert2gpt-indonesian-summarization")
tokenizer.bos_token = tokenizer.cls_token
tokenizer.eos_token = tokenizer.sep_token
model = EncoderDecoderModel.from_pretrained("cahya/bert2gpt-indonesian-summarization")

高級用法

from transformers import BertTokenizer, EncoderDecoderModel

tokenizer = BertTokenizer.from_pretrained("cahya/bert2gpt-indonesian-summarization")
tokenizer.bos_token = tokenizer.cls_token
tokenizer.eos_token = tokenizer.sep_token
model = EncoderDecoderModel.from_pretrained("cahya/bert2gpt-indonesian-summarization")

# 
ARTICLE_TO_SUMMARIZE = ""

# generate summary
input_ids = tokenizer.encode(ARTICLE_TO_SUMMARIZE, return_tensors='pt')
summary_ids = model.generate(input_ids,
            min_length=20,
            max_length=80, 
            num_beams=10,
            repetition_penalty=2.5, 
            length_penalty=1.0, 
            early_stopping=True,
            no_repeat_ngram_size=2,
            use_cache=True,
            do_sample = True,
            temperature = 0.8,
            top_k = 50,
            top_p = 0.95)

summary_text = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
print(summary_text)

輸出:

📄 許可證

本項目採用 apache-2.0 許可證。