T5 Xxl Ssm Tqa

🚀 Google T5用於閉卷問答系統

本項目基於 Google的T5 模型，專注於閉卷問答任務。該模型能夠在不借助外部知識源的情況下，直接回答問題，為知識問答領域提供了一種高效且便捷的解決方案。

🚀 快速開始

本模型可按如下方式用於閉卷問答：

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

t5_qa_model = AutoModelForSeq2SeqLM.from_pretrained("google/t5-xxl-ssm-tqa")
t5_tok = AutoTokenizer.from_pretrained("google/t5-xxl-ssm-tqa")

input_ids = t5_tok("When was Franklin D. Roosevelt born?", return_tensors="pt").input_ids
gen_output = t5_qa_model.generate(input_ids)[0]

print(t5_tok.decode(gen_output, skip_special_tokens=True))

✨ 主要特性

• 多階段預訓練：模型先在 C4 上基於T5的去噪目標進行預訓練，接著在 Wikipedia 上使用 REALM 的顯著跨度掩碼目標進行額外預訓練，最後在 Trivia QA (TQA) 上進行微調。
• 高性能表現：在 Trivia QA 測試集上，T5-xxl-ssm-tqa 模型取得了 61.6 的精確匹配分數，展現出優異的性能。
• 知識存儲與檢索：通過在無結構文本上訓練，模型能夠隱式地存儲和檢索知識，使用自然語言查詢即可獲取答案。

📚 詳細文檔

數據集

• C4：通用爬蟲語料庫，為模型提供了豐富的文本數據。
• Wikipedia：維基百科數據集，用於進一步增強模型的知識儲備。
• Trivia QA (TQA)：用於模型的微調，包含各種類型的問答對。

訓練細節

• 模型在 Trivia QA (TQA) 的 100% 訓練分割集上進行了 10 步的微調。

其他社區檢查點

可在 此處 查看其他社區檢查點。

論文

• 論文標題：How Much Knowledge Can You Pack Into the Parameters of a Language Model?
• 作者：Adam Roberts, Colin Raffel, Noam Shazeer

結果展示

Trivia QA - 測試集結果

摘要

近期研究發現，在無結構文本上訓練的神經語言模型能夠使用自然語言查詢隱式地存儲和檢索知識。在這篇短文中，我們通過微調預訓練模型來回答問題，且不借助任何外部上下文或知識，以此衡量這種方法的實際效用。我們表明，這種方法隨著模型規模的增大而表現更好，並且在回答問題時，與從外部知識源顯式檢索答案的開放域系統具有競爭力。為了便於復現和未來研究，我們在 https://goo.gle/t5-cbqa 發佈了代碼和訓練好的模型。

📄 許可證

本項目採用 Apache-2.0 許可證。