# 生物序列建模

RNAErnie是一个基于非编码RNA序列进行自监督预训练的模型，采用多阶段掩码语言建模目标，为RNA研究提供强大的特征表示能力。

基于非编码RNA数据、采用掩码语言建模（MLM）目标预训练的RNA基础模型

融合基因本体论（GO）结构化知识的蛋白质预训练模型，通过掩码语言建模与知识嵌入双目标优化蛋白质序列表示。