Triviaqa T5 Base

🚀 クローズドブックトリビアQA T5ベース

このモデルは、コンテキストなしのトリビアQAデータセットで学習されたT5ベースモデルです。トリビアタイプの質問に対して、モデル内のメモリを検索して回答を返します。

🚀 クイックスタート

このモデルは、No Context Trivia QAデータセットで学習されたT5ベースモデルです。モデルの入力はトリビアタイプの質問で、モデルはそのメモリ内を検索して回答を返すように調整されています。ここで使用される事前学習モデルは、Common Crawl (C4)データセットで学習されています。モデルはバッチサイズ32、学習率1e - 3で135エポック学習されました。max_input_lngthは25、max_output_lengthは10に設定されています。モデルはEMスコア17、Subset Matchスコア24.5を達成しています。 学習手順についてのブログ記事を書いています。こちらから確認できます。

以下のウェブサイトのトリビア質問でモデルをテストしてみてください。 https://www.triviaquestionss.com/easy-trivia-questions/ https://laffgaff.com/easy-trivia-questions-and-answers/

✨ 主な機能

• トリビアタイプの質問に対して、コンテキストなしで回答を返すことができます。
• 事前学習モデルはCommon Crawl (C4)データセットで学習されています。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelWithLMHead

tokenizer = AutoTokenizer.from_pretrained("deep-learning-analytics/triviaqa-t5-base")
model = AutoModelWithLMHead.from_pretrained("deep-learning-analytics/triviaqa-t5-base")

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
model = model.to(device)

text = "Who directed the movie Jaws?"

preprocess_text = text.strip().replace("\n","")
tokenized_text = tokenizer.encode(preprocess_text, return_tensors="pt").to(device)

outs = model.model.generate(
            tokenized_text,
            max_length=10,
            num_beams=2,
            early_stopping=True
           )

dec = [tokenizer.decode(ids) for ids in outs]
print("Predicted Answer: ", dec)

📚 ドキュメント

モデルの詳細

• モデルタイプ：T5-base
• 学習データ：No Context Trivia QAデータセット、事前学習にはCommon Crawl (C4)データセット
• 学習パラメータ：バッチサイズ32、学習率1e - 3、エポック数135
• 入出力長：max_input_lngth = 25、max_output_length = 10
• 評価指標：EMスコア17、Subset Matchスコア24.5

学習手順

学習手順についての詳細は、こちらのブログ記事を参照してください。

テストサイト

以下のウェブサイトのトリビア質問でモデルをテストできます。

• https://www.triviaquestionss.com/easy-trivia-questions/
• https://laffgaff.com/easy-trivia-questions-and-answers/

🔧 技術詳細

このモデルはT5-baseアーキテクチャを使用しています。T5は、テキスト生成タスクに適したトランスフォーマーベースのモデルです。このモデルは、No Context Trivia QAデータセットで微調整されており、トリビア質問に対してコンテキストなしで回答を生成するように訓練されています。事前学習モデルはCommon Crawl (C4)データセットで学習されており、広範な言語知識を持っています。学習時には、バッチサイズ32、学習率1e - 3で135エポック学習されました。入出力長はそれぞれ25と10に設定されています。評価指標として、EMスコアとSubset Matchスコアが使用されています。