Deberta V3 Base Finetuned Finance Text Classification

🚀 微调金融文本分类的DeBERTa-v3-base模型

本模型是在sentence_50Agree 金融短语库 + Kaggle数据集上对 microsoft/deberta-v3-base 进行微调的版本。该数据集包含4840条按情感（负面、中性、正面）分类的金融新闻。Kaggle数据集包含新冠疫情相关的情感数据，可在此处找到：sentiment-classification-selflabel-dataset。

该模型在评估集上取得了以下结果：

• 损失值：0.7687
• 准确率：0.8913
• F1值：0.8912
• 精确率：0.8927
• 召回率：0.8913

🚀 快速开始

本模型是基于特定金融数据集微调的情感分类模型，可用于金融新闻等文本的情感分析。

✨ 主要特性

• 微调优化：基于 microsoft/deberta-v3-base 模型在金融领域数据集上进行微调，更适配金融文本情感分类任务。
• 效果良好：在评估集上取得了较高的准确率、F1值等指标，如准确率达到 0.8913。

🔧 技术细节

训练超参数

训练过程中使用了以下超参数：

• 学习率：2e-05
• 训练批次大小：16
• 评估批次大小：16
• 随机种子：42
• 优化器：Adam，其中 betas=(0.9, 0.999)，epsilon=1e-08
• 学习率调度器类型：线性
• 训练轮数：15
• 混合精度训练：Native AMP

训练结果

框架版本

• Transformers 4.19.2
• Pytorch 1.11.0+cu113
• Datasets 2.2.2
• Tokenizers 0.12.1

📄 许可证

本项目采用 MIT 许可证。