T5 Xxl Ssm Nq

🚀 Google's T5（クローズドブック質問応答用）

このモデルは、クローズドブック質問応答（Closed Book Question Answering）に特化したGoogleのT5です。自然言語のクエリを用いて知識を暗黙的に格納し、取得することができます。

🚀 クイックスタート

このモデルは、まずC4データセットでT5のノイズ除去目的で事前学習され、次にWikipediaデータセットでREALMの顕著なスパンマスキング目的で追加事前学習され、最後にNatural Questions (NQ)データセットで微調整されました。

注意: このモデルは、Natural Questions (NQ)のトレーニング分割の100%を10,000ステップで微調整しています。

他のコミュニティのチェックポイントはこちらです。

論文: How Much Knowledge Can You Pack Into the Parameters of a Language Model?

著者: Adam Roberts, Colin Raffel, Noam Shazeer

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

t5_qa_model = AutoModelForSeq2SeqLM.from_pretrained("google/t5-xxl-ssm-nq")
t5_tok = AutoTokenizer.from_pretrained("google/t5-xxl-ssm-nq")

input_ids = t5_tok("When was Franklin D. Roosevelt born?", return_tensors="pt").input_ids
gen_output = t5_qa_model.generate(input_ids)[0]

print(t5_tok.decode(gen_output, skip_special_tokens=True))

📚 ドキュメント

Natural Questions - テストセットの結果

概要

最近の研究では、非構造化テキストで学習されたニューラル言語モデルが、自然言語クエリを使用して知識を暗黙的に格納および取得できることが明らかになっています。この短い論文では、事前学習されたモデルを微調整して、外部のコンテキストや知識にアクセスせずに質問に答えることで、このアプローチの実用性を測定します。このアプローチはモデルサイズに応じてスケーリングし、質問に答える際に外部の知識ソースから明示的に回答を取得するオープンドメインシステムと競争力のあるパフォーマンスを発揮することを示します。再現性と将来の研究を容易にするために、コードと学習済みモデルをhttps://goo.gle/t5-cbqaで公開しています。

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。