# 中文预训练

ERNIE-4.5-0.3B-PT-bf16 是由百度开发的 ERNIE 系列模型的一个版本，参数规模为 0.3B，使用 bf16 精度进行训练。

ChineseBERT是一个融合字形与拼音信息的中文预训练模型，针对中文文本处理进行了优化。

MiniRBT是基于知识蒸馏技术开发的中文小型预训练模型，采用全词掩码技术优化训练效率。

MiniRBT是基于知识蒸馏技术开发的中文小型预训练模型，采用全词掩码技术优化训练效率。

MiniRBT是一个基于知识蒸馏技术的中文小型预训练模型，结合了全词掩码技术，适用于多种中文自然语言处理任务。

LERT是一款基于语言学理论驱动的预训练语言模型，旨在通过语言学知识提升模型性能。

StructBERT是通过将语言结构融入预训练过程扩展BERT的新模型，通过两个辅助任务充分利用词语和句子的顺序结构

该模型是基于hfl/chinese-bert-wwm在未知数据集上微调得到的版本，适用于中文文本处理任务。

ChineseBERT是一个融合字形与拼音信息的中文预训练模型，通过增强字形特征提升中文理解能力

基于UER-py框架预训练的中文T5小型模型，采用统一的文本到文本格式处理各类中文NLP任务

基于CLUECorpusSmall语料预训练的中文分词版RoBERTa中型模型，采用分词处理提升序列处理效率

中文ELECTRA是哈工大-讯飞联合实验室基于谷歌ELECTRA架构开发的中文预训练模型，参数量仅为BERT的1/10但性能相近。

基于CLUECorpusSmall预训练的中文分词版RoBERTa中型模型，采用8层512隐藏层架构，相比字符版模型具有更优性能和更快处理速度

PERT是一个基于BERT的中文预训练语言模型，专注于提升中文文本处理能力。

基于CLUECorpusSmall预训练的中文RoBERTa模型，参数规模为8层512隐藏单元，适用于多种中文NLP任务。

由UER-py预训练的中文RoBERTa模型系列中的中型版本，基于CLUECorpusSmall语料训练，适用于多种中文NLP任务。

中文ELECTRA是由哈工大-讯飞联合实验室（HFL）基于谷歌与斯坦福大学发布的ELECTRA模型开发的中文预训练模型，具有参数量小、性能高的特点。

中文ELECTRA是基于谷歌ELECTRA模型的中文预训练模型，由哈工大与讯飞联合实验室发布，具有结构紧凑、性能优越的特点。

PERT是一个基于BERT的中文预训练模型，专注于提升中文文本处理能力。

基于300G中文语料库预训练的轻量级智能预训练模型

基于300G中文语料预训练的BERT模型，采用MLM、POS和SOP任务训练