Arat5v2 XLSum Arabic Text Summarization

🚀 AraT5-Summarization-XLSum

本模型是 UBC-NLP/AraT5v2-base-1024 的微調版本，專門使用 XLSum 數據集 針對阿拉伯語文本摘要任務進行訓練。它能夠為阿拉伯語新聞文章和長篇文本生成簡潔、流暢的摘要。

🚀 快速開始

模型來源

• 論文：AraT5: Text-to-Text Transformers for Arabic Language Understanding and Generation
• 數據集：XLSum

使用示例

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

# 常量，用於指定令牌長度
TEXT_MAX_TOKEN_LENGTH = 512
SUMMARY_MAX_TOKEN_LENGTH = 192

# 加載模型和分詞器
tokenizer = AutoTokenizer.from_pretrained("omarsabri8756/AraT5v2-XLSum-arabic-text-summarization")
model = AutoModelForSeq2SeqLM.from_pretrained("omarsabri8756/AraT5v2-XLSum-arabic-text-summarization")

def generate_summary(test_samples, model):
    inputs = tokenizer(
        test_samples,
        padding="max_length",
        truncation=True,
        max_length=TEXT_MAX_TOKEN_LENGTH,
        return_tensors="pt",
    )
    input_ids = inputs.input_ids.to(model.device)
    attention_mask = inputs.attention_mask.to(model.device)
    outputs = model.generate(
        input_ids, 
        attention_mask=attention_mask,
        max_length=SUMMARY_MAX_TOKEN_LENGTH,
        min_length=10,   # 確保最小內容長度
        num_beams=3,
        repetition_penalty=3.0,
        length_penalty=2.0,
        no_repeat_ngram_size = 3
    )
    output_str = tokenizer.batch_decode(outputs, skip_special_tokens=True)[0]
    return output_str

# 示例用法
arabic_text = "شهدت مدينة طرابلس، مساء أمس الأربعاء، احتجاجات شعبية وأعمال شغب لليوم الثالث على التوالي، وذلك بسبب تردي الوضع المعيشي والاقتصادي. واندلعت مواجهات عنيفة وعمليات كر وفر ما بين الجيش اللبناني والمحتجين استمرت لساعات، إثر محاولة فتح الطرقات المقطوعة، ما أدى إلى إصابة العشرات من الطرفين."
summary = generate_summary(arabic_text, model)
print(summary) # شهدت مدينة طرابلس اللبنانية، مساء أمس الأربعاء، احتجاجات شعبية وأعمال شغب لليوم الثالث على التوالي، وذلك بسبب تردي الوضع المعيشي.

訓練超參數

• 訓練機制：混合精度 fp16
• 優化器：AdamW
• 學習率：5e - 5，使用餘弦調度器
• 每個設備的訓練批次大小：4
• 每個設備的評估批次大小：4
• 訓練輪數：5
• 權重衰減：0.01

📚 詳細文檔

評估結果