Pubchemdeberta Augmented

🚀 TwinBooster

TwinBooster是一個基於PubChem生物測定語料庫對DeBERTa V3基礎模型進行微調的模型，它結合了大語言模型、Barlow Twins和梯度提升技術，用於增強分子屬性預測。該模型能夠在數據稀缺的情況下，對未見的生物測定和分子屬性進行預測，在FS - Mol基準測試中表現出色，有望加速藥物發現和開發中活性分子的早期識別。

🚀 快速開始

暫未提供快速開始相關內容。

✨ 主要特性

• 多技術融合：結合大語言模型、Barlow Twins和梯度提升技術，用於分子屬性預測。
• 零樣本學習：能夠對未見的生物測定和分子屬性進行預測，提供了先進的零樣本學習能力。
• 數據稀缺場景適用：在數據通常稀缺的關鍵屬性預測任務中表現出色，如FS - Mol基準測試。
• 加速藥物研發：有助於加速藥物發現和開發中活性分子的早期識別，簡化新型療法的識別過程。

📚 詳細文檔

模型信息

論文信息

• 標題：Synergising Large Language Models with Barlow Twins and Gradient Boosting for Enhanced Molecular Property Prediction
• 作者：Maximilian G. Schuh, Davide Boldini, Stephan A. Sieber
• 所屬機構：Chair of Organic Chemistry II, TUM School of Natural Sciences, Technical University of Munich
• 論文鏈接：arXiv

摘要

藥物發現和開發的成功依賴於對分子活性和屬性的精確預測。雖然計算機模擬分子屬性預測已顯示出巨大潛力，但到目前為止，其應用僅限於有大量數據可用的測定。在本研究中，我們使用微調後的大語言模型，基於文本信息整合生物測定，並結合Barlow Twins（一種採用新型自監督學習方法的孿生神經網絡）。該架構同時利用測定信息和分子指紋來提取真實的分子信息。TwinBooster通過提供先進的零樣本學習任務，能夠預測未見的生物測定和分子的屬性。值得注意的是，我們的人工智能流程在FS - Mol基準測試中表現出色。這一突破證明了深度學習在數據通常稀缺的關鍵屬性預測任務中的應用。通過加速藥物發現和開發中活性分子的早期識別，這種方法有可能幫助簡化新型療法的識別過程。