Mbert2mbert Arabic Text Summarization

🚀 阿拉伯语抽象文本摘要模型

本项目是一个基于BERT2BERT的模型，其参数使用mBERT权重进行初始化，并在包含84,764个段落 - 摘要对的数据集上进行了微调。该模型可用于阿拉伯语文本摘要、阿拉伯语新闻标题生成以及阿拉伯语释义等任务。

🚀 快速开始

本模型是基于BERT2BERT架构构建的，其参数使用mBERT的权重进行初始化，并且在一个包含84,764个段落 - 摘要对的数据集上进行了微调。

论文：使用基于RNN和基于Transformer架构的阿拉伯语抽象文本摘要

数据集：链接

💻 使用示例

基础用法

from transformers import BertTokenizer, AutoModelForSeq2SeqLM, pipeline
from arabert.preprocess import ArabertPreprocessor

model_name="malmarjeh/mbert2mbert-arabic-text-summarization"
preprocessor = ArabertPreprocessor(model_name="")

tokenizer = BertTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
pipeline = pipeline("text2text-generation",model=model,tokenizer=tokenizer)

text = "شهدت مدينة طرابلس، مساء أمس الأربعاء، احتجاجات شعبية وأعمال شغب لليوم الثالث على التوالي، وذلك بسبب تردي الوضع المعيشي والاقتصادي. واندلعت مواجهات عنيفة وعمليات كر وفر ما بين الجيش اللبناني والمحتجين استمرت لساعات، إثر محاولة فتح الطرقات المقطوعة، ما أدى إلى إصابة العشرات من الطرفين."
text = preprocessor.preprocess(text)

result = pipeline(text,
            pad_token_id=tokenizer.eos_token_id,
            num_beams=3,
            repetition_penalty=3.0,
            max_length=200,
            length_penalty=1.0,
            no_repeat_ngram_size = 3)[0]['generated_text']
result
>>> 'احتجاجات في طرابلس على خلفية مواجهات عنيفة بين الجيش اللبناني والمحتجين'

📚 详细文档

📄 联系方式

如有任何问题，请通过以下邮箱联系我们：banimarje@gmail.com