# 編碼器-解碼器架構

T0++是基於T5架構的自然語言處理模型，通過多任務提示訓練實現零樣本任務泛化能力，在多種NLP任務上超越GPT-3且體積更小。

MrT5是基於ByT5改進的高效字節級語言模型，通過動態令牌合併技術縮短輸入序列長度約50%

Shuka v1 是一款原生支持印度語言音頻理解的語言模型，結合自主研發的音頻編碼器和Llama3-8B-Instruct解碼器，支持多語言零樣本問答任務。

TURNA是一個土耳其語編碼器-解碼器語言模型，專注於增強理解和生成能力。

基於mT5-base的多語言零樣本分類模型，支持近100種語言的雙向文本分類

Pile-T5基礎版是基於T5x庫在The Pile數據集上訓練的編碼器-解碼器模型，通過MLM目標訓練了200萬步，約2萬億token。

Pile-T5 XXL是基於T5x庫在The Pile數據集上訓練的編碼器-解碼器模型，採用類似原始T5模型的MLM目標，訓練了200萬步（約2萬億token）。

MedICap是一款醫療影像描述生成編碼器-解碼器模型，在ImageCLEFmedical Caption 2023挑戰賽中榮獲冠軍。

Pile-T5 Large 是基於 T5x 庫在 The Pile 數據集上訓練的編碼器-解碼器模型，主要用於英語文本到文本生成任務。

基於Transformer編碼器-解碼器架構的越南語最先進輕量級預訓練模型，專注於文本摘要任務。

基於谷歌Transformer架構的編碼器-解碼器關鍵詞生成模型，支持波蘭語和英語，主要用於從科學論文摘要中提取關鍵詞。

基於Transformer架構的越南語先進預訓練編碼器-解碼器模型

基於cc_news_es_titles數據集微調的編碼器-解碼器模型，用於西班牙語文本處理任務

這是一個基於MOZILLA-FOUNDATION/COMMON_VOICE_7_0德語數據集訓練的自動語音識別編碼器-解碼器模型，結合了Wav2Vec2和GPT2架構的優勢。

這是一個基於RoBERTa架構的編碼器-解碼器模型，專門針對句子拆分任務進行微調。

基於RoBERTa-Large初始化的編碼器-解碼器模型，專為摘要生成任務設計，在CNN/DailyMail數據集上微調。

ruT5-base是由SberDevices開發的俄語文本到文本生成模型，基於T5架構，參數量2.22億，訓練數據量300GB。

T0pp是基於T5架構的110億參數編碼器-解碼器模型，在英語自然語言提示的零樣本任務泛化上表現優異，超越GPT-3且體積更小。

基於Bert2Bert架構的土耳其語釋義生成模型，用於生成語義相同但表達不同的句子。

這是一個基於BERT-mini架構的編碼器-解碼器模型，專門針對CNN/Dailymail數據集進行微調，用於文本摘要生成任務。

T0++是一個在英語自然語言提示上展示零樣本任務泛化能力的編碼器-解碼器模型，在許多任務上優於GPT-3，同時體積小了16倍。