Unieval Dialog

🚀 事前学習済み評価器（EMNLP 2022論文）

Towards a Unified Multi-Dimensional Evaluator for Text Generation は、自然言語生成における統一的な多次元評価器についての論文です。本プロジェクトは、その論文に基づく事前学習済み評価器を提供します。

🚀 クイックスタート

この事前学習済み評価器を使うことで、自然言語生成システムのより包括的かつ細粒度な評価が可能になります。詳細な使い方は GitHubリポジトリ を参照してください。

✨ 主な機能

多次元評価の必要性

自然言語生成（NLG）における人間による評価では、多次元評価が主流のパラダイムです。つまり、生成されたテキストを一貫性や流暢性など、複数の説明可能な次元から評価するのです。しかし、NLGにおける自動評価は依然として類似度ベースの指標（ROUGE、BLEUなど）が支配的で、高度な生成モデル間の違いを十分に表現できていません。

UniEvalの提案

そこで、このギャップを埋めるために UniEval を提案します。これにより、NLGシステムのより包括的かつ細粒度な評価を実現できます。

事前学習済み評価器の機能

unieval-dialog は対話応答生成タスク用の事前学習済み評価器です。以下の5つの次元からモデルの出力を評価できます。

• 自然性（naturalness）
• 一貫性（coherence）
• 魅力性（engagingness）
• 根拠性（groundedness）
• 理解性（understandability）

📚 ドキュメント

使用方法については、GitHubリポジトリ を参照してください。