Deberta V3 Small Finetuned Mnli

🚀 DeBERTa v3（小型）在MNLI上微调

本模型是 microsoft/deberta-v3-small 在GLUE MNLI数据集上的微调版本。它在评估集上取得了以下结果：

• 损失：0.4985
• 准确率：0.8746

🚀 快速开始

此模型是基于 microsoft/deberta-v3-small 在GLUE MNLI数据集上进行微调得到的。你可以直接使用该模型进行文本分类任务。

✨ 主要特性

• 性能提升：在GLUE MNLI数据集上取得了较高的准确率。
• 模型改进：基于DeBERTa v3架构，采用了RTD（Replaced Token Detection）目标进行预训练。

📚 详细文档

模型描述

DeBERTa 通过解耦注意力和增强掩码解码器改进了BERT和RoBERTa模型。通过这两项改进，DeBERTa在80GB训练数据的大多数自然语言理解（NLU）任务上优于RoBERTa。有关更多详细信息和更新，请查看 官方仓库。

在 DeBERTa V3 中，我们在预训练时用ELECTRA引入的RTD（Replaced Token Detection）目标取代了MLM目标，并在即将发表的论文中介绍了一些创新。与DeBERTa-V2相比，我们的V3版本显著提高了模型在下游任务中的性能。你可以在我们原始 论文 的附录A11中找到关于该模型的简单介绍，我们将在单独的文章中提供更多细节。

DeBERTa V3小型模型有6层，隐藏层大小为768。由于我们使用了包含128K个词元的词汇表，在嵌入层引入了98M个参数，因此其总参数数量为1.43亿。该模型使用了与DeBERTa V2相同的160GB数据进行训练。

预期用途与限制

更多信息待补充。

训练和评估数据

多类型自然语言推理语料库（Multi-Genre Natural Language Inference Corpus）是一个众包的句子对集合，带有文本蕴含注释。给定一个前提句子和一个假设句子，任务是预测前提是否蕴含假设（蕴含）、与假设矛盾（矛盾）或两者都不是（中立）。前提句子来自十个不同的来源，包括转录语音、小说和政府报告。该基准的作者使用标准测试集（他们从RTE作者那里获得了私有标签），并在匹配（领域内）和不匹配（跨领域）部分进行评估。他们还使用并推荐SNLI语料库作为55万个辅助训练数据示例。

训练过程

训练超参数

训练期间使用了以下超参数：

• 学习率：3e-05
• 训练批次大小：16
• 评估批次大小：8
• 随机种子：42
• 优化器：Adam，β值为(0.9, 0.999)，ε值为1e-08
• 学习率调度器类型：线性
• 学习率调度器热身步数：1000
• 训练轮数：3.0

训练结果

框架版本

• Transformers 4.13.0.dev0
• Pytorch 1.10.0+cu111
• Datasets 1.15.1
• Tokenizers 0.10.3

📄 许可证

本模型采用MIT许可证。