Bert Base Uncased Finetuned Squad

🚀 bert-base-uncased-finetuned-squad

该模型是 bert-base-uncased 在SQuAD数据集上的微调版本，可用于问答相关任务，为自然语言处理提供了更适配特定场景的能力。

🚀 快速开始

本模型是基于bert-base-uncased在squad数据集上微调得到的版本，可用于问答任务。

📚 详细文档

训练超参数

训练过程中使用了以下超参数：

• 学习率：2e-05
• 训练批次大小：1
• 评估批次大小：1
• 随机种子：42
• 分布式类型：IPU
• 梯度累积步数：32
• 总训练批次大小：128
• 总评估批次大小：20
• 优化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
• 学习率调度器类型：线性
• 学习率调度器热身比例：0.25
• 训练轮数：3
• 训练精度：混合精度

框架版本

• Transformers 4.18.0
• Pytorch 1.10.0+cpu
• Datasets 2.1.0
• Tokenizers 0.12.1

📄 许可证

本模型使用的是Apache-2.0许可证。