T

Tinybert L 4 H 312 V2

由 nreimers 开发
TinyBERT是华为诺亚方舟实验室推出的轻量级BERT模型,通过知识蒸馏技术压缩模型规模,同时保持较高的性能。
下载量 5,166
发布时间 : 3/2/2022

模型简介

TinyBERT是一个经过知识蒸馏的轻量级BERT模型,旨在保持较高性能的同时减少模型参数和计算资源需求。适用于资源受限的环境。

模型特点

轻量级设计
仅4层Transformer结构,显著减少模型参数和计算资源需求
知识蒸馏技术
通过蒸馏大型BERT模型的知识,在压缩模型规模的同时保持较高性能
高效推理
相比标准BERT模型,推理速度更快,适合资源受限环境

模型能力

文本分类
文本相似度计算
命名实体识别
问答系统

使用案例

移动端应用
移动设备上的文本分类
在智能手机等资源受限设备上实现高效的文本分类
相比标准BERT模型,内存占用更少,响应速度更快
边缘计算
边缘设备上的自然语言处理
在边缘计算设备上部署轻量级NLP模型
减少云端通信需求,提高隐私保护
AIbase
智启未来,您的人工智能解决方案智库
© 2025AIbase