# 生物信息學

GoBERT是一款專門用於通用基因功能預測的模型，它藉助基因本體圖信息，能夠有效捕捉基因本體（GO）功能之間的關係。

RNABERT是基於非編碼RNA（ncRNA）的預訓練模型，採用掩碼語言建模（MLM）和結構對齊學習（SAL）目標。

RiNALMo是基於掩碼語言建模（MLM）目標預訓練的非編碼RNA（ncRNA）模型，在大量非編碼RNA序列上通過自監督方式訓練。

基於BERT架構的Transformer編碼器模型，專為生成RNA序列嵌入而設計

該模型基於Bert-Base-Uncased微調，用於根據蛋白質氨基酸序列預測其功能的多標籤分類任務。

ProGen2-small是基於Nijkamp等人研究的蛋白質生成模型，經過輕微調整配置和前向傳播流程的鏡像版本。

該模型為蛋白質序列生成嵌入向量，支持縮短版嵌入以加速搜索任務。

基於ESM-2蛋白質語言模型的序列分類器，用於蛋白質序列的零樣本分類任務。

核苷酸變換器是一組基於全基因組DNA序列進行預訓練的基礎語言模型，整合了3200多個人類基因組和850個廣泛物種的基因組數據。

ESM-1b是基於Transformer的蛋白質語言模型，通過無監督學習蛋白質序列數據，可用於蛋白質結構和功能預測。

ESM-2是基於掩碼語言建模目標訓練的最先進蛋白質模型，適用於對蛋白質序列進行分析和預測任務

TCR-BERT 是一個基於 BERT 架構的預訓練模型，專門針對 T 細胞受體（TCR）序列進行優化，通過掩碼氨基酸建模任務進行訓練。