T5 Base Question Generator

🚀 模型名稱

本模型是一個序列到序列的問題生成器，它以答案和上下文作為輸入，並生成問題作為輸出。它基於預訓練的 t5-base 模型構建。

🚀 快速開始

本模型是一個序列到序列的問題生成器，接收答案和上下文作為輸入，輸出相應的問題。它基於預訓練的 t5-base 模型，能有效生成閱讀理解風格的問題。

✨ 主要特性

• 以答案和上下文為輸入，生成問題輸出。
• 基於預訓練的 t5-base 模型。
• 適用於完整句子答案，也可處理單個單詞或短短語答案。

📦 安裝指南

文檔未提及安裝步驟，故跳過該章節。

💻 使用示例

基礎用法

模型將拼接後的答案和上下文作為輸入序列，並生成完整的問題句子作為輸出序列。最大序列長度為 512 個標記。輸入應組織成以下格式：

<answer> 此處為答案文本 <context> 此處為上下文文本

然後可以對輸入序列進行編碼，並將其作為 input_ids 參數傳遞給模型的 generate() 方法。

高級用法

為了獲得最佳結果，可以生成大量問題，然後使用 iarfmoose/bert-base-cased-qa-evaluator 進行過濾。

更多示例請參見：https://github.com/iarfmoose/question_generator。

📚 詳細文檔

預期用途與限制

• 預期用途：該模型經過訓練，用於生成閱讀理解風格的問題，答案從文本中提取。模型在處理完整句子答案時表現最佳，但也可用於單個單詞或短短語答案。
• 限制和偏差：
  • 模型僅限於生成與 SQuAD、CoQA 和 MSMARCO 中類似風格的問題。
  • 生成的問題可能具有引導性，或者反映上下文中存在的偏差。
  • 如果上下文過短或完全缺失，或者上下文與答案不匹配，生成的問題可能會不連貫。

訓練數據

該模型在由幾個知名問答數據集（SQuAD、CoQA 和 MSMARCO）組成的數據集上進行了微調。這些數據集通過將答案和上下文字段拼接成上述格式進行了重構。數據集中的問題字段在訓練期間用作目標。完整的訓練集大約有 200,000 個示例。

訓練過程

該模型在訓練集上進行了 20 個週期的訓練，學習率為 1e-3。由於在 Google Colab 上訓練時 GPU 內存限制，批量大小僅為 4。

🔧 技術細節

模型基於預訓練的 t5-base 模型，在特定的問答數據集上進行微調。訓練過程中，將答案和上下文拼接成特定格式作為輸入，問題作為目標進行訓練。訓練週期為 20 個，學習率為 1e-3，受限於 GPU 內存，批量大小為 4。

📄 許可證

文檔未提及許可證信息，故跳過該章節。