# 生物信息学

GoBERT是一款专门用于通用基因功能预测的模型，它借助基因本体图信息，能够有效捕捉基因本体（GO）功能之间的关系。

RNABERT是基于非编码RNA（ncRNA）的预训练模型，采用掩码语言建模（MLM）和结构对齐学习（SAL）目标。

RiNALMo是基于掩码语言建模（MLM）目标预训练的非编码RNA（ncRNA）模型，在大量非编码RNA序列上通过自监督方式训练。

基于BERT架构的Transformer编码器模型，专为生成RNA序列嵌入而设计

该模型基于Bert-Base-Uncased微调，用于根据蛋白质氨基酸序列预测其功能的多标签分类任务。

ProGen2-small是基于Nijkamp等人研究的蛋白质生成模型，经过轻微调整配置和前向传播流程的镜像版本。

该模型为蛋白质序列生成嵌入向量，支持缩短版嵌入以加速搜索任务。

基于ESM-2蛋白质语言模型的序列分类器，用于蛋白质序列的零样本分类任务。

核苷酸变换器是一组基于全基因组DNA序列进行预训练的基础语言模型，整合了3200多个人类基因组和850个广泛物种的基因组数据。

ESM-1b是基于Transformer的蛋白质语言模型，通过无监督学习蛋白质序列数据，可用于蛋白质结构和功能预测。

ESM-2是基于掩码语言建模目标训练的最先进蛋白质模型，适用于对蛋白质序列进行分析和预测任务

TCR-BERT 是一个基于 BERT 架构的预训练模型，专门针对 T 细胞受体（TCR）序列进行优化，通过掩码氨基酸建模任务进行训练。