Ontoprotein

🚀 OntoProtein模型

OntoProtein模型是一个基于蛋白质序列的预训练模型，它采用了掩码语言建模（MLM）和知识嵌入（KE）目标。该模型可用于解决蛋白质相关的预测和分析问题，为蛋白质研究提供了强大的工具。

🚀 快速开始

本模型在大写氨基酸上进行训练，仅适用于大写字母的氨基酸。以下是一个使用示例：

widget:
- text: "D L I P T S S K L V V [MASK] D T S L Q V K K A F F A L V T"

✨ 主要特性

• 首个将基因本体论（GO）结构融入蛋白质预训练模型的通用框架。
• 构建了一个由GO及其相关蛋白质组成的新型大规模知识图谱，图中所有节点由基因注释文本或蛋白质序列描述。
• 提出了具有知识感知负采样的新型对比学习方法，在预训练期间联合优化知识图谱和蛋白质嵌入。

📚 详细文档

模型描述

OntoProtein是第一个将GO（基因本体论）中的结构应用于蛋白质预训练模型的通用框架。我们构建了一个由GO及其相关蛋白质组成的新型大规模知识图谱，图中的所有节点都由基因注释文本或蛋白质序列描述。我们提出了具有知识感知负采样的新型对比学习方法，在预训练期间联合优化知识图谱和蛋白质嵌入。

BibTeX引用和引用信息

@inproceedings{
zhang2022ontoprotein,
title={OntoProtein: Protein Pretraining With Gene Ontology Embedding},
author={Ningyu Zhang and Zhen Bi and Xiaozhuan Liang and Siyuan Cheng and Haosen Hong and Shumin Deng and Qiang Zhang and Jiazhang Lian and Huajun Chen},
booktitle={International Conference on Learning Representations},
year={2022},
url={https://openreview.net/forum?id=yfe1VMYAXa4}
}

模型信息表格