Deberta V3 Small Finetuned Cola

🚀 DeBERTa-v3-small在CoLA上微调模型

该模型是microsoft/deberta-v3-small在GLUE COLA数据集上的微调版本，在评估集上取得了优异的效果，为自然语言理解任务提供了有力支持。

🚀 快速开始

此模型是 microsoft/deberta-v3-small 在GLUE COLA数据集上的微调版本。它在评估集上取得了以下结果：

• 损失率（Loss）：0.4051
• 马修斯相关系数（Matthews Correlation）：0.6333

📚 详细文档

模型描述

DeBERTa 通过解耦注意力和增强掩码解码器改进了BERT和RoBERTa模型。凭借这两项改进，DeBERTa在使用80GB训练数据的大多数自然语言理解（NLU）任务中优于RoBERTa。

更多详细信息和更新请查看 官方仓库。

在 DeBERTa V3 中，我们在预训练阶段用ELECTRA提出的RTD（替换标记检测）目标取代了MLM目标，并在即将发表的论文中引入了一些创新。与DeBERTa-V2相比，我们的V3版本显著提高了模型在下游任务中的性能。你可以从我们原始 论文 的附录A11中找到关于该模型的简单介绍，我们将在单独的文章中提供更多细节。

DeBERTa V3小型模型有6层，隐藏层大小为768。由于我们使用了包含128K标记的词汇表，在嵌入层引入了9800万个参数，因此该模型的总参数数量为1.43亿。此模型与DeBERTa V2一样，使用160GB数据进行训练。

预期用途与局限性

更多信息待补充。

训练和评估数据

语言可接受性语料库（CoLA）完整版包含来自23篇语言学出版物的10657个句子，由原作者精心标注了可接受性（语法性）。此处提供的公开版本包含9594个属于训练集和开发集的句子，不包含1063个属于保留测试集的句子。

训练过程

训练超参数

训练期间使用了以下超参数：

• 学习率（learning_rate）：3e - 05
• 训练批次大小（train_batch_size）：16
• 评估批次大小（eval_batch_size）：8
• 随机种子（seed）：42
• 优化器（optimizer）：Adam，β值为(0.9, 0.999)，ε值为1e - 08
• 学习率调度器类型（lr_scheduler_type）：线性
• 训练轮数（num_epochs）：5.0

训练结果

框架版本

• Transformers 4.13.0.dev0
• Pytorch 1.10.0 + cu111
• Datasets 1.16.1
• Tokenizers 0.10.3

📄 许可证

本项目采用MIT许可证。