# 中文預訓練

ERNIE-4.5-0.3B-PT-bf16 是由百度開發的 ERNIE 系列模型的一個版本，參數規模為 0.3B，使用 bf16 精度進行訓練。

ChineseBERT是一個融合字形與拼音信息的中文預訓練模型，針對中文文本處理進行了優化。

MiniRBT是基於知識蒸餾技術開發的中文小型預訓練模型，採用全詞掩碼技術優化訓練效率。

MiniRBT是一個基於知識蒸餾技術的中文小型預訓練模型，結合了全詞掩碼技術，適用於多種中文自然語言處理任務。

MiniRBT是基於知識蒸餾技術開發的中文小型預訓練模型，採用全詞掩碼技術優化訓練效率。

LERT是一款基於語言學理論驅動的預訓練語言模型，旨在通過語言學知識提升模型性能。

StructBERT是通過將語言結構融入預訓練過程擴展BERT的新模型，通過兩個輔助任務充分利用詞語和句子的順序結構

該模型是基於hfl/chinese-bert-wwm在未知數據集上微調得到的版本，適用於中文文本處理任務。

PERT是一個基於BERT的中文預訓練模型，專注於提升中文文本處理能力。

基於CLUECorpusSmall語料預訓練的中文分詞版RoBERTa中型模型，採用分詞處理提升序列處理效率

PERT是一個基於BERT的中文預訓練語言模型，專注於提升中文文本處理能力。

由UER-py預訓練的中文RoBERTa模型系列中的中型版本，基於CLUECorpusSmall語料訓練，適用於多種中文NLP任務。

基於CLUECorpusSmall預訓練的中文RoBERTa模型，參數規模為8層512隱藏單元，適用於多種中文NLP任務。

中文ELECTRA是由哈工大-訊飛聯合實驗室（HFL）基於谷歌與斯坦福大學發佈的ELECTRA模型開發的中文預訓練模型，具有參數量小、性能高的特點。

中文ELECTRA是基於谷歌ELECTRA模型的中文預訓練模型，由哈工大與訊飛聯合實驗室發佈，具有結構緊湊、性能優越的特點。

ChineseBERT是一個融合字形與拼音信息的中文預訓練模型，通過增強字形特徵提升中文理解能力

中文ELECTRA是哈工大-訊飛聯合實驗室基於谷歌ELECTRA架構開發的中文預訓練模型，參數量僅為BERT的1/10但性能相近。

基於UER-py框架預訓練的中文T5小型模型，採用統一的文本到文本格式處理各類中文NLP任務

基於CLUECorpusSmall預訓練的中文分詞版RoBERTa中型模型，採用8層512隱藏層架構，相比字符版模型具有更優性能和更快處理速度

基於300G中文語料預訓練的BERT模型，採用MLM、POS和SOP任務訓練

基於300G中文語料庫預訓練的輕量級智能預訓練模型