B

BERT Of Theseus MNLI

由 canwenxu 开发
通过渐进式模块替换压缩BERT的模型,在保持性能的同时减少模型复杂度
下载量 31
发布时间 : 3/2/2022

模型简介

忒修斯BERT是一种通过逐步替换原始BERT组件实现的新型压缩BERT模型,适用于句子分类任务,在GLUE基准测试中表现优异。

模型特点

渐进式模块替换
通过逐步替换原始BERT组件实现模型压缩,保持性能的同时减少复杂度
中间任务迁移学习
模型适用于中间任务迁移学习,需要针对特定任务进行微调
性能优势
在GLUE基准测试中,6层结构优于同等规模的DistillBERT

模型能力

句子分类
自然语言推理
文本相似度计算

使用案例

自然语言处理
文本分类
可用于各种文本分类任务
在SST-2情感分析任务上达到91.8%准确率
自然语言推理
判断两个句子之间的逻辑关系
在MNLI任务上达到82.1%准确率
句子相似度计算
计算两个句子的语义相似度
在STS-B任务上达到87.8%准确率
AIbase
智启未来,您的人工智能解决方案智库
© 2025AIbase