T5 Arabic Text Summarization

🚀 阿拉伯语抽象文本摘要模型

该项目是一个经过微调的AraT5模型，基于包含84,764个段落 - 摘要对的数据集训练而成，可用于阿拉伯语文本摘要、阿拉伯语新闻标题生成和阿拉伯语释义等任务。

🚀 快速开始

本模型是在包含84,764个段落 - 摘要对的数据集上微调的AraT5模型。

论文：Arabic abstractive text summarization using RNN-based and transformer-based architectures

数据集：链接

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, pipeline
from arabert.preprocess import ArabertPreprocessor

model_name="malmarjeh/t5-arabic-text-summarization"
preprocessor = ArabertPreprocessor(model_name="")

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
pipeline = pipeline("text2text-generation",model=model,tokenizer=tokenizer)

text = "شهدت مدينة طرابلس، مساء أمس الأربعاء، احتجاجات شعبية وأعمال شغب لليوم الثالث على التوالي، وذلك بسبب تردي الوضع المعيشي والاقتصادي. واندلعت مواجهات عنيفة وعمليات كر وفر ما بين الجيش اللبناني والمحتجين استمرت لساعات، إثر محاولة فتح الطرقات المقطوعة، ما أدى إلى إصابة العشرات من الطرفين."
text = preprocessor.preprocess(text)

result = pipeline(text,
            pad_token_id=tokenizer.eos_token_id,
            num_beams=3,
            repetition_penalty=3.0,
            max_length=200,
            length_penalty=1.0,
            no_repeat_ngram_size = 3)[0]['generated_text']
result
>>> 'مواجهات عنيفة بين الجيش اللبناني ومحتجين في طرابلس'

📚 详细文档

模型信息

标签信息

• 阿拉伯语T5
• T5
• 现代标准阿拉伯语（MSA）
• 阿拉伯语文本摘要
• 阿拉伯语新闻标题生成
• 阿拉伯语释义

小工具示例

输入文本："شهدت مدينة طرابلس، مساء أمس الأربعاء، احتجاجات شعبية وأعمال شغب لليوم الثالث على التوالي، وذلك بسبب تردي الوضع المعيشي والاقتصادي. واندلعت مواجهات عنيفة وعمليات كر وفر ما بين الجيش اللبناني والمحتجين استمرت لساعات، إثر محاولة فتح الطرقات المقطوعة، ما أدى إلى إصابة العشرات من الطرفين."

📞 联系方式

banimarje@gmail.com