Albumin

🚀 Albumin-15s

このモデルは、ターゲットタンパク質であるアルブミンに対して、どのアプタマーがより親和性が高いかを判断するために、15塩基長のアプタマーを比較するためのAlbert-base-v2のバージョンです。

🚀 クイックスタート

このモデルは、アルブミンに対するアプタマーの親和性を比較するために使用できます。以下の手順で使用できます。

✨ 主な機能

• マスクされたアプタマーペアシーケンスの分類が可能です。
• ターゲットタンパク質であるアルブミンに対するアプタマーの親和性を予測できます。
• 異なる長さのアプタマーや拡張されたデータセットでの再微調整に適しています。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, BertModel
mname = "Vilnius-Lithuania-iGEM/Albumin"
model = BertModel.from_pretrained(mname)

高度な使用法

バッチのシーケンスを予測するには、git/prediction.ipynbに示されているカスタム関数を使用する必要があります。

📚 ドキュメント

モデルの説明

Albertモデルは英語で事前学習されていますが、言語やタンパク質、アプタマーに多くの類似点があります。そのため、モデルがアプタマーの埋め込み位置を学習し、より良いシーケンスを区別できるように微調整する必要がありました。

詳細な情報は、githubとiGEMsのwikiで見ることができます。

想定される用途と制限

この微調整されたモデルは、マスクされたアプタマーペアシーケンスの分類や、ターゲットタンパク質であるアルブミンに対する親和性の予測に使用できます。ただし、主に異なる長さのアプタマーや拡張されたデータセットで再微調整することを想定しています。

制限とバイアス

この種のタスクに対して微調整されたAlbertモデルは、どのアプタマーがターゲットタンパク質に適しているかを予測する精度が90％程度に制限されているようです。また、Albert-largeや15塩基長のアプタマーの巨大なデータセットを使用すると、精度が数％向上する可能性があります。ただし、外挿のケースは研究されておらず、一方のアプタマーが非常に良い（アルブミンに対してほぼ最大のエントロピーを持つ）場合に、このモデルが最先端であることを確認することはできません。

🔧 技術詳細

評価結果

これらのスコアはsklearn.metricsを使用して計算されました。