# エンコーダ-デコーダアーキテクチャ

T0++はT5アーキテクチャに基づく自然言語処理モデルで、マルチタスクプロンプトトレーニングによりゼロショットタスク汎化能力を実現し、多くのNLPタスクでGPT-3を上回りながらよりコンパクトです。

MrT5はByT5を改良した効率的なバイトレベルの言語モデルで、動的トークン統合技術により入力シーケンス長を約50%短縮

TURNAはトルコ語のエンコーダ-デコーダ言語モデルで、理解と生成能力の強化に焦点を当てています。

mT5-baseベースの多言語ゼロショット分類モデルで、約100言語の双方向テキスト分類をサポート

Pile-T5基本版はT5xライブラリを使用し、The Pileデータセットで訓練されたエンコーダ-デコーダモデルで、MLM目標で200万ステップ、約2兆トークン訓練されています。

MedICapは医療画像説明生成のエンコーダ-デコーダモデルで、ImageCLEFmedical Caption 2023チャレンジで優勝しました。

Pile-T5 Large は T5x ライブラリを使用し、The Pile データセットでトレーニングされたエンコーダ-デコーダモデルで、主に英語のテキストからテキストを生成するタスクに使用されます。

Transformerエンコーダ-デコーダアーキテクチャに基づくベトナム語最先端軽量事前学習モデル、テキスト要約タスクに特化。

Bert2Bertアーキテクチャに基づくトルコ語の言い換え生成モデルで、意味は同じだが表現が異なる文章を生成します。

これはMOZILLA-FOUNDATION/COMMON_VOICE_7_0ドイツ語データセットでトレーニングされた自動音声認識エンコーダ-デコーダモデルで、Wav2Vec2とGPT2アーキテクチャの利点を組み合わせています。

これはBERT-miniアーキテクチャに基づくエンコーダ-デコーダモデルで、CNN/Dailymailデータセットに特化してファインチューニングされ、テキスト要約生成タスク用に設計されています。

ruT5-baseはSberDevicesによって開発されたロシア語テキスト生成モデルで、T5アーキテクチャを基にし、2億2200万のパラメータと300GBのトレーニングデータ量を持ちます。

RoBERTa-Largeで初期化されたエンコーダ-デコーダモデルで、要約生成タスク向けに設計され、CNN/DailyMailデータセットでファインチューニングされています。

T0++は、英語の自然言語プロンプトでゼロショットタスク汎化能力を示すエンコーダ-デコーダモデルで、多くのタスクでGPT-3を上回りながら、サイズは16分の1です。

T0ppはT5アーキテクチャに基づく110億パラメータのエンコーダ-デコーダモデルで、英語自然言語プロンプトのゼロショットタスク汎化において優れた性能を発揮し、GPT-3を上回りながらもよりコンパクトなサイズを実現しています。