# エンコーダー-デコーダーアーキテクチャ

Shuka v1は、インド言語の音声理解をネイティブサポートする言語モデルで、独自開発の音声エンコーダーとLlama3-8B-Instructデコーダーを組み合わせ、多言語ゼロショットQAタスクをサポートします。

Pile-T5 XXLはT5xライブラリを使用し、The Pileデータセットで訓練されたエンコーダー-デコーダーモデルで、オリジナルのT5モデルと同様のMLM目標を用いて200万ステップ（約2兆トークン）訓練されています。

Transformerアーキテクチャに基づくベトナム語の先進的な事前学習エンコーダー-デコーダーモデル

これはRoBERTaアーキテクチャに基づくエンコーダー-デコーダーモデルで、文分割タスクに特化してファインチューニングされています。