Xlmr Large Qa Fa

🚀 XLM - RoBERTa large用于问答（波斯语问答 - 🇮🇷）

这个模型是 [xlm - roberta - large](https://huggingface.co/xlm - roberta - large) 在 波斯语问答数据集（PersianQA） 上的微调版本，可有效处理波斯语的问答任务。

✨ 主要特性

• 多语言支持：支持波斯语以及其他多种语言。
• 问答领域适用：专注于问答任务，在波斯语问答数据集上有良好表现。
• 基于经典架构：基于XLM - RoBERTa large架构进行微调。

📦 安装指南

文档未提供具体安装步骤，可参考相关库的官方安装说明，如transformers、torch等。

💻 使用示例

基础用法

from transformers import AutoModelForQuestionAnswering, AutoTokenizer, pipeline

model_name_or_path = "m3hrdadfi/xlmr-large-qa-fa"
nlp = pipeline('question-answering', model=model_name_or_path, tokenizer=model_name_or_path)

context = """
شب یَلدا یا شب چلّه یکی از کهن‌ترین جشن‌های ایرانی است. 
در این جشن، طی شدن بلندترین شب سال و به دنبال آن بلندتر شدن طول روزها
 در نیم‌کرهٔ شمالی، که مصادف با انقلاب زمستانی است، گرامی داشته می‌شود. 
نام دیگر این شب «چِلّه» است، زیرا برگزاری این جشن، یک آیین ایرانی‌است.
"""
# Translation [EN]
# context = [
  # Yalda night or Cheleh night is one of the oldest Iranian celebrations. 
  # The festival celebrates the longest night of the year, followed by longer days in the Northern Hemisphere, 
  # which coincides with the Winter Revolution. 
  # Another name for this night is "Chelleh", because holding this celebration is an Iranian ritual.
# ]


questions = [
    "نام دیگر شب یلدا؟",
    "کهن ترین جشن ایرانی‌ها چه است؟",
    "شب یلدا مصادف با چه پدیده‌ای است؟"
]
# Translation [EN]
# questions = [
  # Another name for Yalda night?
  # What is the ancient tradition of Iranian celebration?
  # What phenomenon does Yalda night coincide with?
# ]


kwargs = {}

for question in questions:
    r = nlp(question=question, context=context, **kwargs)
    answer = " ".join([token.strip() for token in r["answer"].strip().split() if token.strip()])
    print(f"{question} {answer}")

输出示例

نام دیگر شب یلدا؟ «چِلّه»
کهن ترین جشن ایرانی‌ها چه است؟ شب یَلدا یا شب چلّه
شب یلدا مصادف با چه پدیده‌ای است؟ انقلاب زمستانی

# Translation [EN]
# Another name for Yalda night? Cheleh night
# What is the ancient tradition of Iranian celebration? Yalda night or Chele night
# What phenomenon does Yalda night coincide with? Winter revolution

📚 详细文档

超参数

训练过程中使用了以下超参数：

• 学习率（learning_rate）：2e - 05
• 训练批次大小（train_batch_size）：8
• 评估批次大小（eval_batch_size）：8
• 随机种子（seed）：42
• 梯度累积步数（gradient_accumulation_steps）：4
• 优化器（optimizer）：Adam，其中 betas = (0.9, 0.999)，epsilon = 1e - 08
• 学习率调度器类型（lr_scheduler_type）：线性
• 学习率调度器热身比例（lr_scheduler_warmup_ratio）：0.1
• 训练轮数（num_epochs）：20.0
• 混合精度训练（mixed_precision_training）：原生自动混合精度（Native AMP）

性能

使用官方 评估脚本 在评估集上的评估结果如下：

评估集结果

"HasAns_exact": 58.678955453149,
"HasAns_f1": 82.3746683591845,
"HasAns_total": 651,
"NoAns_exact": 86.02150537634408,
"NoAns_f1": 86.02150537634408,
"NoAns_total": 279,
"exact": 66.88172043010752,
"f1": 83.46871946433232,
"total": 930

🔧 技术细节

该模型基于XLM - RoBERTa large架构，在波斯语问答数据集上进行微调。通过特定的超参数设置和训练策略，使模型在问答任务上取得了较好的性能。

📄 许可证

文档未提及许可证相关信息。

👨‍💻 作者

• Mehrdad Farahani

🛠️ 框架版本

• Transformers 4.12.0.dev0
• Pytorch 1.9.1 + cu111
• Datasets 1.12.1
• Tokenizers 0.10.3