Esm1b T33 650M UR50S

🚀 ESM-1b

ESM-1b（論文，代碼庫）是一個基於Transformer的蛋白質語言模型，它在無標籤監督的蛋白質序列數據上進行訓練。該模型在Uniref50數據集上以無監督掩碼語言建模（MLM）為目標進行預訓練，即模型通過周圍的序列上下文來預測氨基酸。這種預訓練目標使ESM-1b能夠學習到通用的有用特徵，並將其遷移到下游預測任務中。ESM-1b已在與蛋白質結構和功能相關的各種任務上進行了評估，包括遠程同源性檢測、二級結構預測、接觸預測以及預測突變對功能的影響等，並取得了最先進的成果。

⚠️ 重要提示

目前，ESM-2有多種檢查點大小可供選擇。對於大多數任務，ESM-2的性能將優於ESM-1和ESM-1b，因此除非您的目標是明確地與ESM-1b進行比較，否則我們建議使用ESM-2。與ESM-1b大小最接近的ESM-2檢查點是esm2_t33_650M_UR50D。

✨ 主要特性

模型描述

ESM-1b模型基於RoBERTa架構和訓練流程，使用2018_03版的Uniref50蛋白質序列數據庫。需要注意的是，預訓練僅針對原始蛋白質序列進行，訓練過程完全是無監督的，即在訓練過程中不提供與結構或功能相關的標籤。

訓練採用掩碼語言建模目標。掩碼過程遵循Devlin等人2019年的方法，隨機掩蓋輸入中15%的氨基酸，幷包括直通和隨機令牌噪聲。與RoBERTa模型的一個架構差異是，ESM-1b使用預激活層歸一化。

學習到的表示可以作為下游任務的特徵。例如，如果您有一個蛋白質活性測量數據集，您可以在ESM-1b輸出的特徵上擬合一個迴歸模型，以預測新序列的活性。該模型也可以進行微調。

ESM-1b可以在無需進一步監督的情況下推斷蛋白質的結構和功能信息，即它能夠零樣本遷移到結構和功能預測任務。Rao等人2020年的研究發現，ESM-1b的注意力頭直接表示蛋白質3D結構中的接觸信息。Meier等人2021年的研究發現，ESM-1b可用於評估序列變異對蛋白質功能的影響。

預期用途和限制

與其他掩碼語言模型一樣，該模型可用於特徵提取、在下游任務上進行微調，或直接用於推斷蛋白質序列的結構和功能。完整示例請參見我們關於微調蛋白質模型的筆記本。

訓練數據

ESM-1b模型在Uniref50 2018 - 03數據集上進行預訓練，該數據集包含約3000萬個蛋白質序列。

訓練過程

預處理

蛋白質序列先轉換為大寫，然後使用單個空格進行分詞，詞彙表大小為21。模型的輸入形式如下：

<cls> Protein Sequence A

在訓練過程中，長度超過1023個令牌（不包括CLS）的序列會被隨機裁剪為1023個令牌。

每個序列的掩碼過程細節遵循Devlin等人2019年的方法：

• 15%的氨基酸被掩碼。
• 在80%的情況下，被掩碼的氨基酸被<mask>替換。
• 在10%的情況下，被掩碼的氨基酸被一個與原氨基酸不同的隨機氨基酸替換。
• 在剩下10%的情況下，被掩碼的氨基酸保持不變。

預訓練

該模型在128個NVIDIA v100 GPU上進行了500K次更新訓練，使用的序列長度為1024（每批次131,072個令牌）。使用的優化器是Adam（betas=[0.9, 0.999]），學習率為1e - 4，權重衰減為0，學習率在16k步內進行預熱，之後學習率進行逆平方根衰減。

📄 許可證

本項目採用MIT許可證。