T5 Base Question Generator

🚀 モデル名

このモデルは、回答と文脈を入力として受け取り、質問を出力として生成するシーケンス-to-シーケンスの質問生成器です。これは事前学習済みの t5-base モデルに基づいています。

🚀 クイックスタート

モデルの概要

このモデルは、回答と文脈を入力として受け取り、質問を出力として生成するシーケンス-to-シーケンスの質問生成器です。事前学習済みの t5-base モデルに基づいています。

想定される用途と制限

このモデルは、文章から抽出された回答を持つ読解形式の質問を生成するように訓練されています。完全な文の回答で最も良い結果を得られますが、単語や短いフレーズの回答でも使用できます。

使用方法

このモデルは、連結された回答と文脈を入力シーケンスとして受け取り、完全な質問文を出力シーケンスとして生成します。最大シーケンス長は512トークンです。入力は以下の形式に整理する必要があります。

<answer> ここに回答テキスト <context> ここに文脈テキスト

入力シーケンスは、エンコードされ、モデルの generate() メソッドの input_ids 引数として渡すことができます。

最良の結果を得るには、大量の質問を生成し、その後 iarfmoose/bert-base-cased-qa-evaluator を使用してフィルタリングすることができます。

例については、https://github.com/iarfmoose/question_generator を参照してください。

制限とバイアス

このモデルは、SQuAD、CoQA、MSMARCO で見られるようなスタイルの質問を生成することに限定されています。生成された質問は、潜在的に誘導的であったり、文脈に含まれるバイアスを反映したりする可能性があります。文脈が短すぎるか、まったくない場合、または文脈と回答が一致しない場合、生成された質問はおそらく意味が通じないものになります。

訓練データ

このモデルは、いくつかの有名なQAデータセット（SQuAD、CoQA、MSMARCO）から構成されるデータセットで微調整されました。データセットは、回答と文脈のフィールドを前述の形式に連結することで再構築されました。データセットの質問フィールドは、訓練中のターゲットとして使用されました。完全な訓練セットは約200,000の例で構成されていました。

訓練手順

このモデルは、学習率1e-3で20エポックにわたって訓練セットで訓練されました。Google Colabで訓練する際のGPUメモリの制限により、バッチサイズはわずか4でした。