Boolq T5 Base Question Generation

🚀 BoolQ T5

本倉庫包含一個在BoolQ數據集上微調的T5-base模型，用於生成是非問答對。該模型利用T5的文本到文本框架，可直接從給定段落中生成自然語言問題及其對應的是/否答案。

✨ 主要特性

• 基於T5-base模型，在BoolQ數據集上微調，專注於生成是非問答對。
• 採用PyTorch Lightning構建，簡化訓練、驗證和超參數調整過程。
• 能在單一框架內有效實現理解和生成任務。

📦 安裝指南

文檔未提及安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

from transformers import pipeline

generator = pipeline("text2text-generation", model="Fares7elsadek/boolq-t5-base-question-generation")

# Example inference:
input_text = "truefalse: [answer] passage: [Your passage here] </s>"
result = generator(input_text)
print(result)

📚 詳細文檔

模型概述

該模型基於PyTorch Lightning構建，此實現簡化了訓練、驗證和超參數調整過程。通過將預訓練的T5-base模型應用於問題生成和答案預測任務，它能在單一框架內有效實現理解和生成任務。

數據處理

輸入構建

每個輸入樣本的格式如下：

truefalse: [answer] passage: [passage] </s>

目標構建

每個目標樣本的格式為：

question: [question] answer: [yes/no] </s>

布爾答案會被規範化為 “yes” 或 “no”，以確保訓練過程的一致性。

訓練細節

• 框架：PyTorch Lightning
• 優化器：採用帶有線性學習率調度和預熱機制的AdamW優化器
• 批次大小：
  • 訓練：6
  • 評估：6
• 最大序列長度：256個標記
• 訓練輪數：4

評估指標

模型性能通過BLEU分數對生成的問題和答案進行評估。對於問題生成，指標如下：

注意：這些指標為模型生成連貫且相關問答對的質量提供了定量評估。

📄 許可證

本項目採用MIT許可證。