Unieval Sum

🚀 預訓練評估器 - EMNLP 2022論文成果

該項目基於論文 Towards a Unified Multi-Dimensional Evaluator for Text Generation，致力於實現文本生成的多維度統一評估。

🚀 快速開始

本項目提出的預訓練評估器可用於文本生成的多維度評估，彌補了現有自動評估方法的不足，能對自然語言生成（NLG）系統進行更全面、細粒度的評估。若要了解具體使用方法，請參考 我們的GitHub倉庫。

✨ 主要特性

多維度評估範式

自然語言生成（NLG）中的人工評估主要採用多維度評估範式，即從多個可解釋的維度（如連貫性和流暢性）對生成的文本進行評估。然而，NLG中的自動評估仍以基於相似度的指標（如ROUGE、BLEU）為主，這些指標不足以刻畫先進生成模型之間的差異。

統一評估器UniEval

為了彌補這一差距，我們提出了 UniEval，以實現對NLG系統更全面、細粒度的評估。

預訓練評估器unieval - sum

unieval - sum 是用於文本摘要任務的預訓練評估器，它可以從以下四個維度評估模型輸出：

• 連貫性
• 一致性
• 流暢性
• 相關性

此外，它還可以遷移到新的維度和生成任務中，例如數據到文本生成中的自然度和信息量評估。