T5 11b Ssm Nq

🚀 Google's T5（クローズドブック質問応答用）

このモデルは、クローズドブック質問応答を行うためのGoogleのT5です。事前学習や微調整により、外部のコンテキストや知識源にアクセスせずに質問に回答する能力を獲得しています。

✨ 主な機能

• クローズドブック質問応答：外部の知識源にアクセスせずに質問に回答できます。
• 大規模データセットでの学習：C4、Wikipedia、Natural Questions (NQ) などの大規模データセットを用いて学習されています。

📦 インストール

このモデルを使用するには、transformers ライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

t5_qa_model = AutoModelForSeq2SeqLM.from_pretrained("google/t5-11b-ssm-nq")
t5_tok = AutoTokenizer.from_pretrained("google/t5-11b-ssm-nq")

input_ids = t5_tok("When was Franklin D. Roosevelt born?", return_tensors="pt").input_ids
gen_output = t5_qa_model.generate(input_ids)[0]

print(t5_tok.decode(gen_output, skip_special_tokens=True))

📚 ドキュメント

データセット

• C4：モデルの事前学習に使用されました。C4
• Wikipedia：REALM のsalient span masking objectiveを用いた追加の事前学習に使用されました。Wikipedia
• Natural Questions (NQ)：モデルの微調整に使用されました。モデルは Natural Questions (NQ) のトレーニングデータの100%を使って10kステップ微調整されています。Natural Questions (NQ)

結果

Natural Questionsのテストセットでの結果は以下の通りです。

論文

• How Much Knowledge Can You Pack Into the Parameters of a Language Model?
• 著者: Adam Roberts, Colin Raffel, Noam Shazeer

その他のチェックポイント

他のコミュニティのチェックポイントは こちら で確認できます。

モデル画像

🔧 技術詳細

このモデルは、まず C4 上でT5のノイズ除去目的で事前学習され、続いて Wikipedia 上で REALM のsalient span masking目的で追加の事前学習が行われ、最後に Natural Questions (NQ) 上で微調整されました。

📄 ライセンス

このモデルは apache-2.0 ライセンスの下で提供されています。