Siamese Smole Bert Muv 1x

🚀 列挙対応型分子トランスフォーマー

このプロジェクトでは、SMILESベースの分子言語モデルの事前学習と微調整を行うための一連のニューラル言語モデルツールを提供しています。また、半教師あり学習を用いて低データ環境でこれらの言語モデルを微調整するレシピも提供しています。

🚀 クイックスタート

このプロジェクトのモデルを使用するには、smiles-featurizersパッケージを使用するか、HuggingFace's Transformersを利用してモデルをインポートできます。

✨ 主な機能

列挙対応型分子トランスフォーマー

コントラスト学習、マルチタスク回帰、マスク言語モデリングを事前学習の目的として導入し、事前学習済み言語モデルに列挙知識を注入します。

a. 分子ドメイン適応 (コントラストエンコーダベース)

i. アーキテクチャ

ii. コントラスト学習

b. 正規化エンコーダ - デコーダ (ノイズ除去エンコーダ - デコーダ)

このモデルの事前学習手順:

• Guacamolデータセットの物理化学的特性に対するマルチタスク回帰でBERTモデルを事前学習する
• Siamese BERTアーキテクチャを使用したコントラスト学習でMUVデータセットに対してドメイン適応を行う

詳細については、GitHubリポジトリを参照してください。

仮想スクリーニングベンチマーク (GitHubリポジトリ)

元のバージョンは以下の論文で提示されています。 S. Riniker, G. Landrum, J. Cheminf., 5, 26 (2013), DOI: 10.1186/1758-2946-5-26, URL: http://www.jcheminf.com/content/5/1/26

拡張版は以下の論文で提示されています。 S. Riniker, N. Fechner, G. Landrum, J. Chem. Inf. Model., 53, 2829, (2013), DOI: 10.1021/ci400466r, URL: http://pubs.acs.org/doi/abs/10.1021/ci400466r

📚 ドキュメント

モデル一覧

公開されているモデルは以下の通りです。

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。