Xlm Roberta Large Finetuned Squad V2

🚀 xlm-roberta-large-finetuned-squad-v2

本模型是 xlm-roberta-large 在 squad_v2 数据集上的微调版本。它在评估集上取得了如下结果：

• 损失值：0.4627

🚀 快速开始

该模型是在 squad_v2 数据集上对 xlm-roberta-large 进行微调得到的，可用于相关问答任务。

✨ 主要特性

• 基于 xlm-roberta-large 模型进行微调，能在 squad_v2 数据集上取得一定的评估结果。

📚 详细文档

模型描述

本模型是对 xlm-roberta-large 在 squad_v2 数据集上进行微调的版本，但更多详细信息有待补充。

预期用途与限制

关于该模型的预期用途和限制，更多信息有待补充。

训练和评估数据

关于训练和评估数据的更多信息有待补充。

训练过程

训练超参数

训练过程中使用了以下超参数：

• 学习率：2e-05
• 训练批次大小：4
• 评估批次大小：4
• 随机种子：42
• 梯度累积步数：8
• 总训练批次大小：32
• 优化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e-08）
• 学习率调度器类型：线性
• 训练轮数：3

训练结果

框架版本

• Transformers 4.11.3
• Pytorch 1.9.0+cu111
• Datasets 1.12.1
• Tokenizers 0.10.3

📄 许可证

本项目采用 MIT 许可证。