Boolq T5 Base Question Generation

🚀 BoolQ T5

このリポジトリには、BoolQデータセットでファインチューニングされたT5-baseモデルが含まれており、真偽の質問と回答のペアを生成することができます。T5のテキスト-to-テキストフレームワークを活用して、このモデルは与えられた文章から自然言語の質問とそれに対応するyes/noの回答を直接生成することができます。

🚀 クイックスタート

このモデルは、与えられた文章から自然言語の質問とそれに対応するyes/noの回答を生成することができます。以下のセクションでは、モデルの概要、データ処理、トレーニングの詳細、評価指標、そして使用方法について説明します。

✨ 主な機能

• BoolQデータセットでのファインチューニング：BoolQデータセットを使用してT5-baseモデルをファインチューニングし、真偽の質問と回答のペアを生成します。
• テキスト-to-テキストフレームワーク：T5のテキスト-to-テキストフレームワークを活用して、自然言語の質問と回答を直接生成します。
• PyTorch Lightningによる実装：PyTorch Lightningを使用して、トレーニング、検証、ハイパーパラメータチューニングを簡素化します。

📚 ドキュメント

🔧 モデル概要

このモデルはPyTorch Lightningを使用して構築されており、トレーニング、検証、ハイパーパラメータチューニングを簡素化しています。事前学習されたT5-baseモデルを質問生成と回答予測のタスクに適応させることで、理解と生成を単一のフレームワークで効果的に結びつけています。

📦 データ処理

入力の構築

各入力サンプルは以下のようにフォーマットされます。

truefalse: [answer] passage: [passage] </s>

ターゲットの構築

各ターゲットサンプルは以下のようにフォーマットされます。

question: [question] answer: [yes/no] </s>

ブール型の回答は、トレーニング中の一貫性を確保するために「yes」または「no」に正規化されます。

🔧 トレーニング詳細

• フレームワーク：PyTorch Lightning
• オプティマイザ：線形学習率スケジューリングとウォームアップを備えたAdamW
• バッチサイズ：
  • トレーニング：6
  • 評価：6
• 最大シーケンス長：256トークン
• トレーニングエポック数：4

🔧 評価指標

モデルの性能は、生成された質問と回答の両方に対してBLEUスコアを使用して評価されました。質問生成に関する指標は以下の通りです。

注：これらの指標は、モデルが首尾一貫した関連性のある質問-回答ペアを生成する品質を定量的に評価するものです。

💻 使用例

基本的な使用法

from transformers import pipeline

generator = pipeline("text2text-generation", model="Fares7elsadek/boolq-t5-base-question-generation")

# 推論の例:
input_text = "truefalse: [answer] passage: [Your passage here] </s>"
result = generator(input_text)
print(result)

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。