Unieval Intermediate

🚀 EMNLP 2022論文の事前学習評価器

Towards a Unified Multi-Dimensional Evaluator for Text Generation

この事前学習評価器は、自然言語生成（NLG）における多次元評価の問題を解決するためのものです。多次元評価は、生成されたテキストを一貫性や流暢性などの複数の説明可能な次元から評価するパラダイムです。

🚀 クイックスタート

この事前学習評価器を使うことで、自然言語生成システムのより包括的で細粒度な評価を行うことができます。以下に、この評価器に関する詳細を説明します。

✨ 主な機能

多次元評価

自然言語生成における多次元評価を自動化し、生成されたテキストを複数の次元から評価することができます。

事前学習評価器の利用

unieval-intermediate は、中間的なマルチタスク学習を行った後の事前学習済みのブール回答生成器です。このチェックポイントを基に、特定のNLGタスク用のカスタム評価器をトレーニングすることもできます。

📚 ドキュメント

導入

多次元評価 は、自然言語生成（NLG）における人間評価の主要なパラダイムです。つまり、生成されたテキストを一貫性や流暢性などの複数の説明可能な次元から評価します。

しかし、NLGにおける自動評価は依然として類似度ベースの指標（例：ROUGE、BLEU）が主流ですが、これらは高度な生成モデル間の差異を十分に表現することができません。

そこで、私たちは UniEval を提案し、このギャップを埋め、NLGシステムのより包括的で細粒度な評価を実現します。

事前学習評価器

unieval-intermediate は、中間的なマルチタスク学習を行った後の事前学習済みのブール回答生成器です。このチェックポイントを基に、特定のNLGタスク用のカスタム評価器をトレーニングすることもできます。

💻 使用例

使用方法については、私たちのGitHubリポジトリ を参照してください。