T

T5 Efficient Small

Developed by google
T5-Efficient-SMALLはGoogleオリジナルT5のバリアントで、ディープナローアーキテクチャを採用し、パラメータ数が近い場合、下流タスクの性能が他のアーキテクチャを上回ります。
Downloads 1,032
Release Time : 3/2/2022

Model Overview

これは事前学習のみのチェックポイントで、T5モデルアーキテクチャに基づき、効率性を高めるためにモデルの深さを優先的に増やしたディープナロー設計を採用しています。英語NLPタスクに適しており、使用前にファインチューニングが必要です。

Model Features

ディープナローアーキテクチャ
モデルの幅ではなく深さを優先的に増やし、同じパラメータ数でより良い下流タスク性能を提供
効率的な事前学習
C4データセットで524,288ステップの事前学習を実施、スパンを用いたマスク言語モデリング目標を使用
パラメータ効率
アーキテクチャ設計を最適化し、小さなパラメータ規模でも良好な性能を維持

Model Capabilities

テキスト生成
テキスト要約
質問応答システム
テキスト分類

Use Cases

テキスト処理
要約生成
長文から簡潔な要約を生成
質問応答システム
与えられたテキストに基づいて質問に回答
テキスト分類
感情分析
テキストの感情傾向を分類
AIbase
Empowering the Future, Your AI Solution Knowledge Base
© 2025AIbase