Bert Base Cased Qa Evaluator

🚀 BERT-base-cased-qa-evaluator

このモデルは質問と回答のペアを入力として受け取り、入力が有効な質問と回答のペアであるかどうかについての予測値を出力します。このモデルは、シーケンス分類ヘッドを持つ事前学習済みのBERT-base-casedです。

🚀 クイックスタート

このQA評価器は、生成された質問の品質を評価するために、t5-base-question-generatorとともに使用することを想定して設計されています。

QA評価器の入力は、BertForSequenceClassificationの形式に従いますが、質問と回答を2つのシーケンスとして使用します。入力は以下の形式にする必要があります。

[CLS] <question> [SEP] <answer [SEP]

✨ 主な機能

• 質問と回答のペアを入力として、その有効性を予測する。
• 事前学習済みのBERT-base-casedモデルをベースにしている。

🔧 技術詳細

制限事項とバイアス

このモデルは、質問と回答が意味的に関連しているかどうかを評価するように訓練されていますが、回答が実際に正しいかどうかを判断することはできません。

訓練データ

訓練データは、以下のデータセットからの質問と回答のペアで構成されています。

• SQuAD
• RACE
• CoQA
• MSMARCO

訓練手順

質問と回答は、50%の確率で連結されます。残りの50%の確率では、破損操作が行われます（関係のない回答と交換するか、質問の一部を回答にコピーする）。その後、モデルは入力シーケンスが元のQAペアの1つであるか、破損した入力であるかを予測するように訓練されます。