Esm1b T33 650M UR50S

🚀 ESM-1b

ESM-1b (論文、リポジトリ)は、教師なしでタンパク質配列データを用いて学習されたTransformerベースのタンパク質言語モデルです。このモデルは、Uniref50データベースを用いて、マスク言語モデリング（MLM）の目的で事前学習されており、周囲の配列コンテキストからアミノ酸を予測するように訓練されています。この事前学習により、ESM-1bは下流の予測タスクに転用可能な汎用的な特徴を学習することができます。ESM-1bは、タンパク質の構造や機能に関連する様々なタスクで評価され、最先端の結果を生み出しています。

⚠️ 重要な注意

現在、ESM-2が様々なチェックポイントサイズで利用可能です。ほとんどのタスクでは、ESM-2の性能がESM-1やESM-1bよりも優れています。したがって、明示的にESM-1bと比較する目的でない限り、ESM-2の使用をおすすめします。ESM-1bに最も近いサイズのESM-2チェックポイントはesm2_t33_650M_UR50Dです。

✨ 主な機能

ESM-1bモデルは、RoBERTaのアーキテクチャと学習手順をベースにしており、2018_03版のUniref50タンパク質配列データベースを使用しています。事前学習は生のタンパク質配列のみを対象としており、構造や機能に関連するラベルは一切与えられず、完全に教師なし学習で行われています。

学習はマスク言語モデリングの目的で行われ、マスキングの手順はDevlin et al. 2019に従い、入力のアミノ酸の15%をランダムにマスクし、パススルーとランダムトークンノイズを含みます。RoBERTaモデルとのアーキテクチャ上の違いの1つは、ESM-1bが事前活性化層正規化を使用している点です。

学習された表現は、下流タスクの特徴として使用できます。例えば、タンパク質活性の測定データセットがある場合、ESM-1bが出力する特徴に回帰モデルを適合させて、新しい配列の活性を予測することができます。また、モデルをファインチューニングすることも可能です。

ESM-1bは、さらなる教師なしでタンパク質の構造と機能に関する情報を推論することができ、つまり、構造と機能の予測へのゼロショット転移が可能です。Rao et al. 2020によると、ESM-1bのアテンションヘッドは、タンパク質の3D構造における接触を直接表現していることがわかりました。Meier et al. 2021によると、ESM-1bを使用して、配列変異がタンパク質機能に与える影響を評価することができます。

📚 ドキュメント

想定される用途と制限

このモデルは、他のマスク言語モデルと同様に、特徴抽出、下流タスクでのファインチューニング、またはタンパク質配列の構造と機能に関する推論に直接使用することができます。完全な例については、タンパク質モデルのファインチューニングに関するノートブックを参照してください。

学習データ

ESM-1bモデルは、Uniref50 2018-03を用いて事前学習されました。このデータセットは約3000万のタンパク質配列から構成されています。

学習手順

前処理

タンパク質配列は大文字に変換され、単一の空白を使用してトークン化されます。語彙サイズは21です。モデルの入力は以下の形式になります。

<cls> Protein Sequence A

学習中、1023トークン（CLSを除く）より長い配列は、ランダムに1023の長さに切り詰められます。

各配列のマスキング手順の詳細は、Devlin et al. 2019に従います。

• アミノ酸の15%がマスクされます。
• 80%のケースで、マスクされたアミノ酸は <mask> で置き換えられます。
• 10%のケースで、マスクされたアミノ酸は、置き換えるアミノ酸とは異なるランダムなアミノ酸で置き換えられます。
• 残りの10%のケースでは、マスクされたアミノ酸はそのまま残されます。

事前学習

モデルは、128台のNVIDIA v100 GPUで500K回の更新を行い、シーケンス長1024（バッチあたり131,072トークン）で学習されました。オプティマイザにはAdam（betas=[0.9, 0.999]）を使用し、学習率は1e-4、重み減衰は0、学習率のウォームアップを16kステップ行い、その後は学習率を逆平方根で減衰させました。

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。