T5 3b Ssm Nq

🚀 GoogleのT5によるクローズドブック質問応答

このモデルは、クローズドブック質問応答（Closed Book Question Answering）に特化したGoogleのT5モデルです。外部の知識源にアクセスすることなく、事前学習で得た知識を用いて質問に回答します。

🚀 クイックスタート

このモデルは、以下のデータセットを用いて事前学習およびファインチューニングされています。

モデルは、まずC4上でT5のノイズ除去目的で事前学習され、次にWikipedia上でREALMの顕著なスパンマスキング目的で追加的に事前学習され、最後にNatural Questions (NQ)上でファインチューニングされました。

⚠️ 重要な注意

このモデルは、Natural Questions (NQ)のトレイン分割の100％で10,000ステップのファインチューニングを行っています。

他のコミュニティチェックポイントはこちらです。

論文: How Much Knowledge Can You Pack Into the Parameters of a Language Model?

著者: Adam Roberts, Colin Raffel, Noam Shazeer

💻 使用例

基本的な使用法

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

t5_qa_model = AutoModelForSeq2SeqLM.from_pretrained("google/t5-3b-ssm-nq")
t5_tok = AutoTokenizer.from_pretrained("google/t5-3b-ssm-nq")

input_ids = t5_tok("When was Franklin D. Roosevelt born?", return_tensors="pt").input_ids
gen_output = t5_qa_model.generate(input_ids)[0]

print(t5_tok.decode(gen_output, skip_special_tokens=True))

📚 ドキュメント

Natural Questions - テストセットの結果

概要

最近の研究では、非構造化テキストで訓練されたニューラル言語モデルが、自然言語クエリを用いて暗黙的に知識を保存および取得できることが明らかになっています。この論文では、事前学習されたモデルを外部のコンテキストや知識源にアクセスすることなく質問に回答するようにファインチューニングすることで、このアプローチの実用性を測定しています。結果として、このアプローチはモデルサイズに応じて性能が向上し、外部の知識源から明示的に回答を取得するオープンドメインシステムと競合するレベルの性能を発揮することが示されています。再現性と将来の研究を促進するために、コードと訓練済みモデルをhttps://goo.gle/t5-cbqa で公開しています。

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で公開されています。