Esm1b T33 650M UR50S

🚀 ESM-1b

ESM-1b（论文，代码库）是一个基于Transformer的蛋白质语言模型，它在无标签监督的蛋白质序列数据上进行训练。该模型在Uniref50数据集上以无监督掩码语言建模（MLM）为目标进行预训练，即模型通过周围的序列上下文来预测氨基酸。这种预训练目标使ESM-1b能够学习到通用的有用特征，并将其迁移到下游预测任务中。ESM-1b已在与蛋白质结构和功能相关的各种任务上进行了评估，包括远程同源性检测、二级结构预测、接触预测以及预测突变对功能的影响等，并取得了最先进的成果。

⚠️ 重要提示

目前，ESM-2有多种检查点大小可供选择。对于大多数任务，ESM-2的性能将优于ESM-1和ESM-1b，因此除非您的目标是明确地与ESM-1b进行比较，否则我们建议使用ESM-2。与ESM-1b大小最接近的ESM-2检查点是esm2_t33_650M_UR50D。

✨ 主要特性

模型描述

ESM-1b模型基于RoBERTa架构和训练流程，使用2018_03版的Uniref50蛋白质序列数据库。需要注意的是，预训练仅针对原始蛋白质序列进行，训练过程完全是无监督的，即在训练过程中不提供与结构或功能相关的标签。

训练采用掩码语言建模目标。掩码过程遵循Devlin等人2019年的方法，随机掩盖输入中15%的氨基酸，并包括直通和随机令牌噪声。与RoBERTa模型的一个架构差异是，ESM-1b使用预激活层归一化。

学习到的表示可以作为下游任务的特征。例如，如果您有一个蛋白质活性测量数据集，您可以在ESM-1b输出的特征上拟合一个回归模型，以预测新序列的活性。该模型也可以进行微调。

ESM-1b可以在无需进一步监督的情况下推断蛋白质的结构和功能信息，即它能够零样本迁移到结构和功能预测任务。Rao等人2020年的研究发现，ESM-1b的注意力头直接表示蛋白质3D结构中的接触信息。Meier等人2021年的研究发现，ESM-1b可用于评估序列变异对蛋白质功能的影响。

预期用途和限制

与其他掩码语言模型一样，该模型可用于特征提取、在下游任务上进行微调，或直接用于推断蛋白质序列的结构和功能。完整示例请参见我们关于微调蛋白质模型的笔记本。

训练数据

ESM-1b模型在Uniref50 2018 - 03数据集上进行预训练，该数据集包含约3000万个蛋白质序列。

训练过程

预处理

蛋白质序列先转换为大写，然后使用单个空格进行分词，词汇表大小为21。模型的输入形式如下：

<cls> Protein Sequence A

在训练过程中，长度超过1023个令牌（不包括CLS）的序列会被随机裁剪为1023个令牌。

每个序列的掩码过程细节遵循Devlin等人2019年的方法：

• 15%的氨基酸被掩码。
• 在80%的情况下，被掩码的氨基酸被<mask>替换。
• 在10%的情况下，被掩码的氨基酸被一个与原氨基酸不同的随机氨基酸替换。
• 在剩下10%的情况下，被掩码的氨基酸保持不变。

预训练

该模型在128个NVIDIA v100 GPU上进行了500K次更新训练，使用的序列长度为1024（每批次131,072个令牌）。使用的优化器是Adam（betas=[0.9, 0.999]），学习率为1e - 4，权重衰减为0，学习率在16k步内进行预热，之后学习率进行逆平方根衰减。

📄 许可证

本项目采用MIT许可证。