# 英語文本重構

Pile-T5基礎版是基於T5x庫在The Pile數據集上訓練的編碼器-解碼器模型，通過MLM目標訓練了200萬步，約2萬億token。

Pile-T5 XXL是基於T5x庫在The Pile數據集上訓練的編碼器-解碼器模型，採用類似原始T5模型的MLM目標，訓練了200萬步（約2萬億token）。