Arabartsummarization

🚀 arabartsummarization

このモデルは、アラビア語のテキスト要約、ニュースタイトル生成、パラフレーズ生成などのタスクに使用できます。

🚀 クイックスタート

モデルの使用方法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, pipeline
from arabert.preprocess import ArabertPreprocessor

model_name="abdalrahmanshahrour/arabartsummarization"
preprocessor = ArabertPreprocessor(model_name="")

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
pipeline = pipeline("text2text-generation",model=model,tokenizer=tokenizer)

text = "شهدت مدينة طرابلس، مساء أمس الأربعاء، احتجاجات شعبية وأعمال شغب لليوم الثالث على التوالي، وذلك بسبب تردي الوضع المعيشي والاقتصادي. واندلعت مواجهات عنيفة وعمليات كر وفر ما بين الجيش اللبناني والمحتجين استمرت لساعات، إثر محاولة فتح الطرقات المقطوعة، ما أدى إلى إصابة العشرات من الطرفين."
text = preprocessor.preprocess(text)

result = pipeline(text,
            pad_token_id=tokenizer.eos_token_id,
            num_beams=3,
            repetition_penalty=3.0,
            max_length=200,
            length_penalty=1.0,
            no_repeat_ngram_size = 3)[0]['generated_text']
result
>>> "تجددت الاشتباكات بين الجيش اللبناني ومحتجين في مدينة طرابلس شمالي لبنان."

✨ 主な機能

• アラビア語のテキスト要約
• アラビア語のニュースタイトル生成
• アラビア語のパラフレーズ生成

📚 ドキュメント

検証指標

• 損失: 2.3394
• Rouge1: 1.142
• Rouge2: 0.227
• RougeL: 1.124
• RougeLsum: 1.234

想定用途と制限事項

詳細情報は後日提供予定です。

学習と評価データ

合計42.21K行

• 学習データ : 37.52K行
• 評価データ : 4.69K行

学習手順

学習ハイパーパラメータ

学習時には以下のハイパーパラメータが使用されました。

• 学習率: 5e-05
• 学習バッチサイズ: 4
• 評価バッチサイズ: 4
• シード: 42
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラ: 線形
• エポック数: 3

学習結果

フレームワークバージョン

• Transformers 4.25.1
• Pytorch 1.13.0+cu116
• Datasets 2.7.1
• Tokenizers 0.13.2

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。