Arabartsummarization

🚀 阿拉伯文本摘要模型

該模型主要用於阿拉伯語的文本摘要、新聞標題生成以及文本改寫等任務，能有效處理阿拉伯語相關的自然語言處理需求，為阿拉伯語信息處理提供了有力的工具。

🚀 快速開始

此模型的使用方式如下：

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, pipeline
from arabert.preprocess import ArabertPreprocessor

model_name="abdalrahmanshahrour/arabartsummarization"
preprocessor = ArabertPreprocessor(model_name="")

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
pipeline = pipeline("text2text-generation",model=model,tokenizer=tokenizer)

text = "شهدت مدينة طرابلس، مساء أمس الأربعاء، احتجاجات شعبية وأعمال شغب لليوم الثالث على التوالي، وذلك بسبب تردي الوضع المعيشي والاقتصادي. واندلعت مواجهات عنيفة وعمليات كر وفر ما بين الجيش اللبناني والمحتجين استمرت لساعات، إثر محاولة فتح الطرقات المقطوعة، ما أدى إلى إصابة العشرات من الطرفين."
text = preprocessor.preprocess(text)

result = pipeline(text,
            pad_token_id=tokenizer.eos_token_id,
            num_beams=3,
            repetition_penalty=3.0,
            max_length=200,
            length_penalty=1.0,
            no_repeat_ngram_size = 3)[0]['generated_text']
result
>>> "تجددت الاشتباكات بين الجيش اللبناني ومحتجين في مدينة طرابلس شمالي لبنان."

✨ 主要特性

• 支持多種阿拉伯語自然語言處理任務，如文本摘要、新聞標題生成和文本改寫。
• 基於BERT2BERT架構，結合AraBERT進行預訓練，對阿拉伯語有較好的處理能力。

📚 詳細文檔

驗證指標

• 損失值（Loss）：2.3394
• Rouge1：1.142
• Rouge2：0.227
• RougeL：1.124
• RougeLsum：1.234

預期用途與限制

更多信息待補充。

訓練和評估數據

總共42.21K行數據：

• 訓練數據：37.52K行
• 評估數據：4.69K行

訓練過程

訓練超參數

訓練過程中使用了以下超參數：

• 學習率（learning_rate）：5e - 05
• 訓練批次大小（train_batch_size）：4
• 評估批次大小（eval_batch_size）：4
• 隨機種子（seed）：42
• 優化器（optimizer）：Adam，其中betas = (0.9, 0.999)，epsilon = 1e - 08
• 學習率調度器類型（lr_scheduler_type）：線性
• 訓練輪數（num_epochs）：3

訓練結果

框架版本

• Transformers 4.25.1
• Pytorch 1.13.0 + cu116
• Datasets 2.7.1
• Tokenizers 0.13.2

📄 許可證

本模型採用Apache - 2.0許可證。