frugalscore_medium_bert-base_mover-score開源文本評估模型

Frugalscore Medium Bert Base Mover Score

由moussaKam開發

基於知識蒸餾的輕量級文本評估模型，用小型學生模型模擬大型教師模型的評分行為

下載量 43

發布時間 : 3/2/2022

模型概述

通過固定低成本方式實現BERTScore等昂貴NLG評估指標，保留原始性能90%以上

高效知識蒸餾

通過迴歸任務蒸餾教師模型的評分行為，學生模型參數量僅為教師1%

多教師兼容

支持BERT/RoBERTa/DeBERTa等多種教師模型的知識遷移

評估指標保留

在BERTScore和MoverScore指標上保留原始性能90-95%

文本生成質量評估

機器翻譯評估

摘要生成評估

對話系統評估

NLG系統開發

機器翻譯質量監控

在持續集成中低成本評估翻譯模型輸出質量

相比原始BERTScore提速8-12倍

文本摘要評估

用於摘要生成模型的自動化評估流程

與人工評價相關性達0.85-0.92

學術研究

輕量級評估基準

資源受限環境下替代昂貴評估指標

內存佔用減少80%

FrugalScore	學生模型	教師模型	方法
moussaKam/frugalscore_tiny_bert-base_bert-score	BERT-tiny	BERT-Base	BERTScore
moussaKam/frugalscore_small_bert-base_bert-score	BERT-small	BERT-Base	BERTScore
moussaKam/frugalscore_medium_bert-base_bert-score	BERT-medium	BERT-Base	BERTScore
moussaKam/frugalscore_tiny_roberta_bert-score	BERT-tiny	RoBERTa-Large	BERTScore
moussaKam/frugalscore_small_roberta_bert-score	BERT-small	RoBERTa-Large	BERTScore
moussaKam/frugalscore_medium_roberta_bert-score	BERT-medium	RoBERTa-Large	BERTScore
moussaKam/frugalscore_tiny_deberta_bert-score	BERT-tiny	DeBERTa-XLarge	BERTScore
moussaKam/frugalscore_small_deberta_bert-score	BERT-small	DeBERTa-XLarge	BERTScore
moussaKam/frugalscore_medium_deberta_bert-score	BERT-medium	DeBERTa-XLarge	BERTScore
moussaKam/frugalscore_tiny_bert-base_mover-score	BERT-tiny	BERT-Base	MoverScore
moussaKam/frugalscore_small_bert-base_mover-score	BERT-small	BERT-Base	MoverScore
moussaKam/frugalscore_medium_bert-base_mover-score	BERT-medium	BERT-Base	MoverScore