T5 Xxl Ssm

🚀 Google's T5（クローズドブック質問応答用）

このモデルは、クローズドブック質問応答に特化したGoogle's T5です。自然言語クエリを用いて知識を暗黙的に格納・取得する能力を持ち、特定のタスクに微調整することで効果的に活用できます。

🚀 クイックスタート

このモデルは、まずC4データセットを用いてT5のノイズ除去目的で事前学習され、その後Wikipediaデータセットを用いてREALMの顕著なスパンマスキング目的で追加事前学習されました。

⚠️ 重要提示

このモデルは、クローズドブック質問応答に使用する前に、質問応答の下流タスクで微調整する必要があります。

他のコミュニティチェックポイントはこちらです。

✨ 主な機能

• 非構造化テキストで事前学習されたニューラル言語モデルを利用して、自然言語クエリで知識を暗黙的に格納・取得します。
• モデルサイズに応じて性能が向上し、外部の知識源から明示的に回答を取得するオープンドメインシステムと競合するレベルの性能を発揮します。

📚 ドキュメント

概要

最近、非構造化テキストで学習されたニューラル言語モデルが、自然言語クエリを使用して暗黙的に知識を格納および取得できることが観察されています。この短い論文では、事前学習されたモデルを微調整して、外部のコンテキストや知識にアクセスせずに質問に答えることで、このアプローチの実用性を測定します。このアプローチはモデルサイズに応じてスケーリングし、質問に答える際に外部の知識源から明示的に回答を取得するオープンドメインシステムと競合するレベルで機能することを示します。再現性と将来の研究を促進するために、コードと学習済みモデルをhttps://goo.gle/t5 - cbqa で公開しています。

引用論文

• 論文: How Much Knowledge Can You Pack Into the Parameters of a Language Model?
• 著者: Adam Roberts, Colin Raffel, Noam Shazeer

📄 ライセンス

このモデルはApache - 2.0ライセンスの下で提供されています。

📦 データセット情報