Siamese Smole Bert Muv 1x

🚀 枚舉感知分子變換器

本項目推出了一套用於預訓練和微調基於SMILES的分子語言模型的神經語言模型工具。此外，還提供了在低數據環境下使用半監督學習對這些語言模型進行微調的半監督學習方案。

✨ 主要特性

枚舉感知分子變換器

引入了對比學習、多任務迴歸和掩碼語言建模作為預訓練目標，將枚舉知識注入到預訓練語言模型中。

a. 分子領域自適應（基於對比編碼器）

i. 架構

ii. 對比學習

b. 規範化編解碼器（去噪編解碼器）

模型預訓練步驟

• 在Guacamol數據集上使用多任務迴歸對BERT模型進行預訓練，以學習物理化學性質。
• 使用連體BERT架構，在MUV數據集上通過對比學習進行領域自適應。

更多詳細信息請查看我們的GitHub倉庫。

虛擬篩選基準測試（GitHub倉庫）

原始版本發表於： S. Riniker, G. Landrum, J. Cheminf., 5, 26 (2013), DOI: 10.1186/1758-2946-5-26, URL: http://www.jcheminf.com/content/5/1/26

擴展版本發表於： S. Riniker, N. Fechner, G. Landrum, J. Chem. Inf. Model., 53, 2829, (2013), DOI: 10.1021/ci400466r, URL: http://pubs.acs.org/doi/abs/10.1021/ci400466r

📚 詳細文檔

模型列表

我們發佈的模型如下所示。你可以使用smiles-featurizers包或HuggingFace的Transformers來導入這些模型。

📄 許可證

本項目採用Apache-2.0許可證。

🔍 數據集

• jxie/guacamol
• AdrianM0/MUV

📦 庫名稱

transformers