# 大規模言語理解

LaMini-T5-738Mはt5-largeをLaMini-instructionデータセットで微調整した命令微調整モデルで、パラメータ数は738M、LaMini-LMシリーズモデルの1つです。

T5 1.1はグーグルが改良したテキストからテキストへの変換モデルで、GEGLU活性化関数を採用し、アーキテクチャを最適化し、教師なし事前学習に特化しています。

T5 1.1はGoogleが改良したテキストからテキストへの変換モデルで、GEGLU活性化関数と最適化されたアーキテクチャを採用し、教師なし事前学習に焦点を当てています

これは再学習された3層RoBERTa-wwm-ext-largeモデルで、全単語マスキング戦略を採用した中国語事前学習BERTモデルであり、中国語自然言語処理の発展を加速することを目的としています。