Triviaqa T5 Base

🚀 封閉書式問答T5基礎模型

這是一個基於T5基礎架構，在無上下文瑣事問答數據集上訓練的模型，可直接從記憶中搜索問題答案。

🚀 快速開始

本模型是在無上下文瑣事問答（No Context Trivia QA）數據集上訓練的T5基礎模型。模型的輸入是瑣事類問題，它經過調優可以在其記憶中搜索答案並返回。這裡使用的預訓練模型是在Common Crawl（C4）數據集上訓練的。該模型使用批量大小為32和學習率為1e - 3的參數進行了135個週期的訓練。最大輸入長度設置為25，最大輸出長度為10。模型的精確匹配（EM）得分達到17，子集匹配得分達到24.5。

我們撰寫了一篇涵蓋訓練過程的博客文章，詳情請見此處。

可以使用以下網站上的瑣事問題對模型進行測試：

• https://www.triviaquestionss.com/easy-trivia-questions/
• https://laffgaff.com/easy-trivia-questions-and-answers/

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelWithLMHead

tokenizer = AutoTokenizer.from_pretrained("deep-learning-analytics/triviaqa-t5-base")
model = AutoModelWithLMHead.from_pretrained("deep-learning-analytics/triviaqa-t5-base")

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
model = model.to(device)

text = "Who directed the movie Jaws?"

preprocess_text = text.strip().replace("\n","")
tokenized_text = tokenizer.encode(preprocess_text, return_tensors="pt").to(device)

outs = model.model.generate(
            tokenized_text,
            max_length=10,
            num_beams=2,
            early_stopping=True
           )

dec = [tokenizer.decode(ids) for ids in outs]
print("Predicted Answer: ", dec)

📚 詳細文檔