Xlmr Large Qa Fa

🚀 XLM - RoBERTa large用於問答（波斯語問答 - 🇮🇷）

這個模型是 [xlm - roberta - large](https://huggingface.co/xlm - roberta - large) 在 波斯語問答數據集（PersianQA） 上的微調版本，可有效處理波斯語的問答任務。

✨ 主要特性

• 多語言支持：支持波斯語以及其他多種語言。
• 問答領域適用：專注於問答任務，在波斯語問答數據集上有良好表現。
• 基於經典架構：基於XLM - RoBERTa large架構進行微調。

📦 安裝指南

文檔未提供具體安裝步驟，可參考相關庫的官方安裝說明，如transformers、torch等。

💻 使用示例

基礎用法

from transformers import AutoModelForQuestionAnswering, AutoTokenizer, pipeline

model_name_or_path = "m3hrdadfi/xlmr-large-qa-fa"
nlp = pipeline('question-answering', model=model_name_or_path, tokenizer=model_name_or_path)

context = """
شب یَلدا یا شب چلّه یکی از کهن‌ترین جشن‌های ایرانی است. 
در این جشن، طی شدن بلندترین شب سال و به دنبال آن بلندتر شدن طول روزها
 در نیم‌کرهٔ شمالی، که مصادف با انقلاب زمستانی است، گرامی داشته می‌شود. 
نام دیگر این شب «چِلّه» است، زیرا برگزاری این جشن، یک آیین ایرانی‌است.
"""
# Translation [EN]
# context = [
  # Yalda night or Cheleh night is one of the oldest Iranian celebrations. 
  # The festival celebrates the longest night of the year, followed by longer days in the Northern Hemisphere, 
  # which coincides with the Winter Revolution. 
  # Another name for this night is "Chelleh", because holding this celebration is an Iranian ritual.
# ]


questions = [
    "نام دیگر شب یلدا؟",
    "کهن ترین جشن ایرانی‌ها چه است؟",
    "شب یلدا مصادف با چه پدیده‌ای است؟"
]
# Translation [EN]
# questions = [
  # Another name for Yalda night?
  # What is the ancient tradition of Iranian celebration?
  # What phenomenon does Yalda night coincide with?
# ]


kwargs = {}

for question in questions:
    r = nlp(question=question, context=context, **kwargs)
    answer = " ".join([token.strip() for token in r["answer"].strip().split() if token.strip()])
    print(f"{question} {answer}")

輸出示例

نام دیگر شب یلدا؟ «چِلّه»
کهن ترین جشن ایرانی‌ها چه است؟ شب یَلدا یا شب چلّه
شب یلدا مصادف با چه پدیده‌ای است؟ انقلاب زمستانی

# Translation [EN]
# Another name for Yalda night? Cheleh night
# What is the ancient tradition of Iranian celebration? Yalda night or Chele night
# What phenomenon does Yalda night coincide with? Winter revolution

📚 詳細文檔

超參數

訓練過程中使用了以下超參數：

• 學習率（learning_rate）：2e - 05
• 訓練批次大小（train_batch_size）：8
• 評估批次大小（eval_batch_size）：8
• 隨機種子（seed）：42
• 梯度累積步數（gradient_accumulation_steps）：4
• 優化器（optimizer）：Adam，其中 betas = (0.9, 0.999)，epsilon = 1e - 08
• 學習率調度器類型（lr_scheduler_type）：線性
• 學習率調度器熱身比例（lr_scheduler_warmup_ratio）：0.1
• 訓練輪數（num_epochs）：20.0
• 混合精度訓練（mixed_precision_training）：原生自動混合精度（Native AMP）

性能

使用官方 評估腳本 在評估集上的評估結果如下：

評估集結果

"HasAns_exact": 58.678955453149,
"HasAns_f1": 82.3746683591845,
"HasAns_total": 651,
"NoAns_exact": 86.02150537634408,
"NoAns_f1": 86.02150537634408,
"NoAns_total": 279,
"exact": 66.88172043010752,
"f1": 83.46871946433232,
"total": 930

🔧 技術細節

該模型基於XLM - RoBERTa large架構，在波斯語問答數據集上進行微調。通過特定的超參數設置和訓練策略，使模型在問答任務上取得了較好的性能。

📄 許可證

文檔未提及許可證相關信息。

👨‍💻 作者

• Mehrdad Farahani

🛠️ 框架版本

• Transformers 4.12.0.dev0
• Pytorch 1.9.1 + cu111
• Datasets 1.12.1
• Tokenizers 0.10.3