Distilprotbert

🚀 DistilProtBert

ProtBert-UniRef100モデルの蒸留バージョンです。クロスエントロピーとコサインの教師 - 学生損失に加え、DistilProtBertはマスク言語モデリング（MLM）の目的で事前学習されており、大文字のアミノ酸のみで動作します。

詳細については、当社の論文DistilProtBert: A distilled protein language model used to distinguish between real proteins and their randomly shuffled counterpartsをご覧ください。

Gitリポジトリ。

🚀 クイックスタート

DistilProtBertは、タンパク質の特徴抽出や下流タスクでの微調整に使用できます。

✨ 主な機能

• ProtBert-UniRef100モデルの蒸留バージョン。
• クロスエントロピーとコサインの教師 - 学生損失に加え、マスク言語モデリング（MLM）の目的で事前学習。
• 大文字のアミノ酸のみで動作。

📦 インストール

ドキュメントに具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

基本的な使用法

モデルはProtBertと同じように、ProtBertのトークナイザーを使用して利用できます。

📚 ドキュメント

モデルの詳細

想定される用途と制限

このモデルは、タンパク質の特徴抽出や下流タスクでの微調整に使用できます。

学習データ

DistilProtBertモデルは、Uniref50で事前学習されました。このデータセットは約4300万のタンパク質配列から構成されており、アミノ酸の長さが20から512の配列のみが使用されました。

事前学習手順

前処理はProtBertのトークナイザーを使用して行われました。各配列のマスキング手順の詳細は、元のBertに従っています（ProtBertで述べられている通り）。

モデルは、単一のDGXクラスターで合計3エポックの事前学習を行いました。ローカルバッチサイズは16、使用されたオプティマイザーは学習率5e-5のAdamWで、混合精度設定が使用されました。

評価結果

下流タスクで微調整した場合、このモデルは以下の結果を達成します。

タンパク質とそのk-letシャッフルバージョンを区別する評価結果：

Singlet (データセット)

Doublet (データセット)

Triplet (データセット)

🔧 技術詳細

ドキュメントに具体的な技術詳細が記載されているため、このセクションを表示します。事前学習手順や評価方法などの技術的な内容が含まれています。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

引用

このモデルを使用する場合は、以下の論文を引用してください。

@article {
	author = {Geffen, Yaron and Ofran, Yanay and Unger, Ron},
	title = {DistilProtBert: A distilled protein language model used to distinguish between real proteins and their randomly shuffled counterparts},
	year = {2022},
	doi = {10.1093/bioinformatics/btac474},
	URL = {https://doi.org/10.1093/bioinformatics/btac474},
	journal = {Bioinformatics}
}