frugalscore_medium_bert-base_mover-score开源文本评估模型

Frugalscore Medium Bert Base Mover Score

由 moussaKam 开发

基于知识蒸馏的轻量级文本评估模型，用小型学生模型模拟大型教师模型的评分行为

下载量 43

发布时间 : 3/2/2022

模型简介

通过固定低成本方式实现BERTScore等昂贵NLG评估指标，保留原始性能90%以上

高效知识蒸馏

通过回归任务蒸馏教师模型的评分行为，学生模型参数量仅为教师1%

多教师兼容

支持BERT/RoBERTa/DeBERTa等多种教师模型的知识迁移

评估指标保留

在BERTScore和MoverScore指标上保留原始性能90-95%

文本生成质量评估

机器翻译评估

摘要生成评估

对话系统评估

NLG系统开发

机器翻译质量监控

在持续集成中低成本评估翻译模型输出质量

相比原始BERTScore提速8-12倍

文本摘要评估

用于摘要生成模型的自动化评估流程

与人工评价相关性达0.85-0.92

学术研究

轻量级评估基准

资源受限环境下替代昂贵评估指标

内存占用减少80%

FrugalScore	学生模型	教师模型	方法
moussaKam/frugalscore_tiny_bert-base_bert-score	BERT-tiny	BERT-Base	BERTScore
moussaKam/frugalscore_small_bert-base_bert-score	BERT-small	BERT-Base	BERTScore
moussaKam/frugalscore_medium_bert-base_bert-score	BERT-medium	BERT-Base	BERTScore
moussaKam/frugalscore_tiny_roberta_bert-score	BERT-tiny	RoBERTa-Large	BERTScore
moussaKam/frugalscore_small_roberta_bert-score	BERT-small	RoBERTa-Large	BERTScore
moussaKam/frugalscore_medium_roberta_bert-score	BERT-medium	RoBERTa-Large	BERTScore
moussaKam/frugalscore_tiny_deberta_bert-score	BERT-tiny	DeBERTa-XLarge	BERTScore
moussaKam/frugalscore_small_deberta_bert-score	BERT-small	DeBERTa-XLarge	BERTScore
moussaKam/frugalscore_medium_deberta_bert-score	BERT-medium	DeBERTa-XLarge	BERTScore
moussaKam/frugalscore_tiny_bert-base_mover-score	BERT-tiny	BERT-Base	MoverScore
moussaKam/frugalscore_small_bert-base_mover-score	BERT-small	BERT-Base	MoverScore
moussaKam/frugalscore_medium_bert-base_mover-score	BERT-medium	BERT-Base	MoverScore