t5-small-ssmオープンソースAIモデル - 外部知識源不要で、閉卷質問応答の実用的機能を実現

ホーム

T5 Small Ssm

googleによって開発

GoogleのT5モデルは事前学習によりクローズドブックQA機能を実現し、外部知識源に依存せずに質問に答えることが可能

大規模言語モデル英語オープンソースライセンス:Apache-2.0 #クローズドブックQA #知識の暗黙的検索 #外部知識源不要

ダウンロード数 88

リリース時間 : 3/2/2022

モデル概要

このモデルはT5アーキテクチャに基づき、まずC4データセットでノイズ除去事前学習を行い、その後WikipediaデータでREALMの顕著スパンマスク目標を用いて追加の事前学習を行い、クローズドブックQAシナリオ専用に設計

モデル特徴

クローズドブックQA能力

外部知識源が不要で質問に回答可能、答えは完全にモデル内部のパラメータに蓄積された知識から生成

二段階事前学習戦略

まずC4データセットで標準ノイズ除去目標による事前学習、その後WikipediaでREALMの顕著スパンマスク目標を用いた知識集約型事前学習を実施

拡張性

研究によればモデル性能は規模拡大に伴い向上し、大規模版はオープンドメインQAシステムに匹敵する性能を発揮

モデル能力

クローズドブックQA

知識検索

テキスト生成

使用事例

教育

知識QAシステム

外部データベースに依存しない自動質問応答システムの構築

明示的検索システムと同等の精度を提供可能

研究

知識カプセル化研究

言語モデルのパラメータ内にどれだけの知識をカプセル化できるかの研究

モデル規模と知識蓄積能力の正の相関関係を検証

🚀 GoogleのT5（クローズドブック質問応答用）

このモデルは、クローズドブック質問応答に特化したGoogleのT5です。非構造化テキストで学習されたニューラル言語モデルが、自然言語クエリを使って暗黙的に知識を保存し、取得できることが最近明らかになりました。本モデルはそのアプローチを利用し、事前学習されたモデルを微調整して、外部のコンテキストや知識源にアクセスすることなく質問に答える能力を持たせています。