Mbert2mbert Arabic Text Summarization

🚀 阿拉伯語抽象文本摘要模型

本項目是一個基於BERT2BERT的模型，其參數使用mBERT權重進行初始化，並在包含84,764個段落 - 摘要對的數據集上進行了微調。該模型可用於阿拉伯語文本摘要、阿拉伯語新聞標題生成以及阿拉伯語釋義等任務。

🚀 快速開始

本模型是基於BERT2BERT架構構建的，其參數使用mBERT的權重進行初始化，並且在一個包含84,764個段落 - 摘要對的數據集上進行了微調。

論文：使用基於RNN和基於Transformer架構的阿拉伯語抽象文本摘要

數據集：鏈接

💻 使用示例

基礎用法

from transformers import BertTokenizer, AutoModelForSeq2SeqLM, pipeline
from arabert.preprocess import ArabertPreprocessor

model_name="malmarjeh/mbert2mbert-arabic-text-summarization"
preprocessor = ArabertPreprocessor(model_name="")

tokenizer = BertTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
pipeline = pipeline("text2text-generation",model=model,tokenizer=tokenizer)

text = "شهدت مدينة طرابلس، مساء أمس الأربعاء، احتجاجات شعبية وأعمال شغب لليوم الثالث على التوالي، وذلك بسبب تردي الوضع المعيشي والاقتصادي. واندلعت مواجهات عنيفة وعمليات كر وفر ما بين الجيش اللبناني والمحتجين استمرت لساعات، إثر محاولة فتح الطرقات المقطوعة، ما أدى إلى إصابة العشرات من الطرفين."
text = preprocessor.preprocess(text)

result = pipeline(text,
            pad_token_id=tokenizer.eos_token_id,
            num_beams=3,
            repetition_penalty=3.0,
            max_length=200,
            length_penalty=1.0,
            no_repeat_ngram_size = 3)[0]['generated_text']
result
>>> 'احتجاجات في طرابلس على خلفية مواجهات عنيفة بين الجيش اللبناني والمحتجين'

📚 詳細文檔

📄 聯繫方式

如有任何問題，請通過以下郵箱聯繫我們：banimarje@gmail.com