T5 Large Ssm Nq

🚀 GoogleのT5（クローズドブック質問応答用）

このモデルは、クローズドブック質問応答を行うためのGoogleのT5をベースにしています。モデルは、さまざまなデータセットを用いて事前学習とファインチューニングが行われています。

✨ 主な機能

• クローズドブック質問応答を行うことができます。
• 事前学習には、C4、Wikipedia、Natural Questions (NQ) などのデータセットが使用されています。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

基本的な使用法

このモデルは、以下のようにクローズドブック質問応答に使用できます。

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

t5_qa_model = AutoModelForSeq2SeqLM.from_pretrained("google/t5-large-ssm-nq")
t5_tok = AutoTokenizer.from_pretrained("google/t5-large-ssm-nq")

input_ids = t5_tok("When was Franklin D. Roosevelt born?", return_tensors="pt").input_ids
gen_output = t5_qa_model.generate(input_ids)[0]

print(t5_tok.decode(gen_output, skip_special_tokens=True))

# should give "December 26, 1892" => close, but not correct.

📚 ドキュメント

データセット

• C4：モデルの事前学習に使用されたデータセットの1つです。C4
• Wikipedia：モデルの追加事前学習に使用されたデータセットです。Wikipedia
• Natural Questions (NQ)：モデルのファインチューニングに使用されたデータセットです。Natural Questions (NQ)

事前学習とファインチューニング

• モデルは、T5のノイズ除去目的で C4 上で事前学習されました。
• その後、REALM の顕著なスパンマスキング目的で Wikipedia 上で追加事前学習されました。
• 最後に、Natural Questions (NQ) 上でファインチューニングされました。

注意事項

• モデルは、Natural Questions (NQ) のトレインスプリットの100%を10kステップでファインチューニングされました。

その他のコミュニティチェックポイント

他のコミュニティチェックポイントは、こちら から確認できます。

論文

• How Much Knowledge Can You Pack Into the Parameters of a Language Model?

著者

Adam Roberts, Colin Raffel, Noam Shazeer

Natural Questions - テストセットの結果

概要

最近の研究では、非構造化テキストで学習されたニューラル言語モデルが、自然言語クエリを使用して暗黙的に知識を保存および取得できることが明らかになっています。この短い論文では、事前学習されたモデルを外部のコンテキストや知識にアクセスせずに質問に答えるようにファインチューニングすることで、このアプローチの実用的な有用性を測定しています。このアプローチはモデルサイズに応じて拡張可能であり、質問に答える際に外部の知識ソースから明示的に回答を取得するオープンドメインシステムと競争力を持っていることを示しています。再現性と将来の研究を容易にするために、コードと学習済みモデルを https://goo.gle/t5-cbqa で公開しています。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。