T5 Arabic Text Summarization

🚀 アラビア語要約テキスト生成モデル

このモデルは、84,764組の段落と要約のペアからなるデータセットで微調整されたAraT5モデルです。アラビア語の要約テキスト生成に特化しており、アラビア語のニュースタイトル生成や文章の言い換えなどのタスクにも応用できます。

論文: Arabic abstractive text summarization using RNN-based and transformer-based architectures データセット: link

🚀 クイックスタート

このモデルは以下のように使用できます。

基本的な使用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, pipeline
from arabert.preprocess import ArabertPreprocessor

model_name="malmarjeh/t5-arabic-text-summarization"
preprocessor = ArabertPreprocessor(model_name="")

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
pipeline = pipeline("text2text-generation",model=model,tokenizer=tokenizer)

text = "شهدت مدينة طرابلس، مساء أمس الأربعاء، احتجاجات شعبية وأعمال شغب لليوم الثالث على التوالي، وذلك بسبب تردي الوضع المعيشي والاقتصادي. واندلعت مواجهات عنيفة وعمليات كر وفر ما بين الجيش اللبناني والمحتجين استمرت لساعات، إثر محاولة فتح الطرقات المقطوعة، ما أدى إلى إصابة العشرات من الطرفين."
text = preprocessor.preprocess(text)

result = pipeline(text,
            pad_token_id=tokenizer.eos_token_id,
            num_beams=3,
            repetition_penalty=3.0,
            max_length=200,
            length_penalty=1.0,
            no_repeat_ngram_size = 3)[0]['generated_text']
result
>>> 'مواجهات عنيفة بين الجيش اللبناني ومحتجين في طرابلس'

📚 ドキュメント

モデル情報

📄 連絡先

banimarje@gmail.com