Roberta Base Fiqa Flm Sq Flit

🚀 roberta-base-fiqa-flm-sq-flit

本模型是在自定义数据集上对roberta-base进行微调后的版本，该数据集专为金融领域的问答任务而创建。

🚀 快速开始

本模型可用于构建金融服务行业（BFSI）领域的自定义问答系统。

✨ 主要特性

• RoBERTa是一个在大规模英文语料库上以自监督方式进行预训练的Transformer模型。
• 为特定的下游问答任务，对模型进行了进一步处理：
  1. 以掩码语言模型（MLM）为目标，针对FIQA挑战中基于观点的问答任务进行领域自适应预训练，相关数据可在此处获取 - FIQA数据。
  2. 以MLM为目标，使用自定义生成的银行和金融领域数据集进行预训练。
  3. 使用SQuAD V2数据集进行微调，以适应问答任务。
  4. 使用SQuAD格式的自定义标注数据集进行微调，以适应特定领域和任务。

📦 安装指南

文档未提供安装步骤，暂不展示。

💻 使用示例

文档未提供代码示例，暂不展示。

📚 详细文档

训练和评估数据

更多信息待补充。

训练过程

训练超参数

训练过程中使用了以下超参数：

• 学习率：2e-05
• 训练批次大小：8
• 评估批次大小：8
• 随机种子：42
• 优化器：Adam，其中betas=(0.9, 0.999)，epsilon=1e-08
• 学习率调度器类型：线性
• 学习率调度器热身比例：0.2
• 训练轮数：2.0

训练结果

文档未提供训练结果相关内容，暂不展示。

框架版本

• Transformers 4.15.0.dev0
• Pytorch 1.10.0+cu111
• Datasets 1.16.1
• Tokenizers 0.10.3

🔧 技术细节

文档未提供技术实现细节相关内容，暂不展示。

📄 许可证

文档未提供许可证信息，暂不展示。