T5 Small Ssm Nq

🚀 GoogleのT5（Closed Book Question Answering用）

このモデルは、クローズドブック質問応答（Closed Book Question Answering）に特化したGoogleのT5モデルです。自然言語の質問に対して、外部のコンテキストや知識源にアクセスせずに回答を生成する能力を持っています。

✨ 主な機能

• 事前学習と微調整：まずT5のノイズ除去目的でC4上で事前学習され、次にREALMの顕著なスパンマスキング目的でWikipedia上で追加の事前学習が行われ、最後にNatural Questions (NQ)上で微調整されました。
• 高い性能：Natural Questionsのテストセットで良好な性能を示しています。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

t5_qa_model = AutoModelForSeq2SeqLM.from_pretrained("google/t5-small-ssm-nq")
t5_tok = AutoTokenizer.from_pretrained("google/t5-small-ssm-nq")

input_ids = t5_tok("When was Franklin D. Roosevelt born?", return_tensors="pt").input_ids
gen_output = t5_qa_model.generate(input_ids)[0]

print(t5_tok.decode(gen_output, skip_special_tokens=True))

📚 ドキュメント

Natural Questions - テストセットの結果

概要

最近の研究では、非構造化テキストで学習されたニューラル言語モデルが、自然言語クエリを使用して暗黙的に知識を保存し、取得できることが観察されています。この論文では、事前学習されたモデルを微調整して、外部のコンテキストや知識にアクセスせずに質問に答えることで、このアプローチの実用性を測定しています。結果として、このアプローチはモデルサイズに応じてスケーリングし、質問に答える際に外部の知識源から明示的に回答を取得するオープンドメインシステムと競争力のある性能を発揮することが示されています。再現性と将来の研究を容易にするために、コードと学習済みモデルをhttps://goo.gle/t5-cbqa で公開しています。

その他の情報

• 論文：How Much Knowledge Can You Pack Into the Parameters of a Language Model?
• 著者：Adam Roberts, Colin Raffel, Noam Shazeer
• 他のコミュニティチェックポイント：こちら

注意事項

このモデルは、Natural Questions (NQ)のトレイン分割の100％で10kステップの微調整が行われています。

📄 ライセンス

このモデルはApache 2.0ライセンスの下で公開されています。

データセット

⚠️ 重要提示

このモデルは、Natural Questions (NQ)のトレイン分割の100％で10kステップの微調整が行われています。

💡 使用建议

モデルの性能を向上させるために、適切なハイパーパラメータの調整や追加の微調整を行うことをおすすめします。