t5-xxl-ssmオープンソースクローズドブック質疑応答モデル - 外部知識源不要、質疑応答タスクを簡単にこなせます

Home

T5 Xxl Ssm

Developed by google

T5アーキテクチャに基づく閉じた質問応答モデルで、ノイズ除去と顕著なスパンマスキング目標による事前学習を行い、外部知識源を必要としない質問応答タスクに適しています。

大規模言語モデル

Transformers

EnglishOpen Source License:Apache-2.0 #閉じた質問応答 #知識の暗黙的検索 #外部知識源なし

Downloads 16

Release Time : 3/2/2022

Model Overview

このモデルはT5アーキテクチャを採用し、最初にC4データセットでノイズ除去事前学習を行い、その後WikipediaでREALMの顕著なスパンマスキング目標を用いて追加の事前学習を行い、閉じた質問応答シナリオ専用に設計されています。

Model Features

二重の事前学習戦略

最初にC4データセットでノイズ除去事前学習を行い、その後Wikipediaで顕著なスパンマスキング目標を用いて追加の事前学習を行い、知識の保存と検索能力を強化します。

閉じた質問応答能力

外部知識源に依存せず、モデルのパラメータから直接答えを検索し、効率的な質問応答を実現します。

拡張性

研究によると、モデルの効果は規模の拡大とともに向上し、性能はオープンドメイン質問応答システムと同等です。

Model Capabilities

閉じた質問応答

知識検索

自然言語理解

Use Cases

教育

知識質問応答システム

外部知識ベースを必要としない自動質問応答システムの構築に使用され、ユーザーの質問に直接答えます。

性能は外部知識源に依存するオープンドメインシステムと同等です

研究

言語モデルの知識保存研究

言語モデルのパラメータに保存された知識の能力とメカニズムを研究します。

今後の研究のためのベンチマークモデルとコードを提供します

🚀 Google's T5（クローズドブック質問応答用）

このモデルは、クローズドブック質問応答に特化したGoogle's T5です。自然言語クエリを用いて知識を暗黙的に格納・取得する能力を持ち、特定のタスクに微調整することで効果的に活用できます。

🚀 クイックスタート

このモデルは、まずC4データセットを用いてT5のノイズ除去目的で事前学習され、その後Wikipediaデータセットを用いてREALMの顕著なスパンマスキング目的で追加事前学習されました。

⚠️ 重要提示

このモデルは、クローズドブック質問応答に使用する前に、質問応答の下流タスクで微調整する必要があります。

他のコミュニティチェックポイントはこちらです。

✨ 主な機能

非構造化テキストで事前学習されたニューラル言語モデルを利用して、自然言語クエリで知識を暗黙的に格納・取得します。
モデルサイズに応じて性能が向上し、外部の知識源から明示的に回答を取得するオープンドメインシステムと競合するレベルの性能を発揮します。

📚 ドキュメント

概要

最近、非構造化テキストで学習されたニューラル言語モデルが、自然言語クエリを使用して暗黙的に知識を格納および取得できることが観察されています。この短い論文では、事前学習されたモデルを微調整して、外部のコンテキストや知識にアクセスせずに質問に答えることで、このアプローチの実用性を測定します。このアプローチはモデルサイズに応じてスケーリングし、質問に答える際に外部の知識源から明示的に回答を取得するオープンドメインシステムと競合するレベルで機能することを示します。再現性と将来の研究を促進するために、コードと学習済みモデルをhttps://goo.gle/t5 - cbqa で公開しています。

model image