# 轻量级NLU

针对俄语和英语的bert-base-multilingual-cased模型的极小型蒸馏版本（45MB，1200万参数），注重速度与体积而非绝对准确率

DeBERTa-v3是微软推出的改进版自然语言理解模型，通过ELECTRA风格预训练和梯度解耦嵌入共享技术优化，在保持较小参数量的同时实现高效性能。