Chemberta Zinc Base V1

🚀 ChemBERTa：訓練類似BERT的Transformer模型用於化學SMILES字符串的掩碼語言建模

ChemBERTa致力於解決在計算化學和機器學習領域，基於遷移學習方法未得到有效發展的問題。通過使用HuggingFace的模型套件和ByteLevel分詞器，在大量化學數據上訓練模型，為化學和材料科學領域的深度學習研究提供了新的工具和方法，具有重要的科研和應用價值。

✨ 主要特性

• 有效利用遷移學習：在計算化學和機器學習領域，借鑑自然語言處理和計算機視覺中基於遷移學習的方法，使用HuggingFace的模型套件和ByteLevel分詞器，在包含10萬個SMILES字符串的ZINC基準數據集上進行訓練。
• 良好的訓練效果：對RoBERTa模型進行5個epoch的訓練，模型損失達到0.398，若增加訓練輪數，損失可能會進一步降低。
• 分子預測能力：模型能夠預測SMILES序列/分子中的標記，從而可以預測可發現化學空間內分子的變體。
• 多領域應用：應用模型學習到的官能團和原子表示，可嘗試解決小分子數據集的毒性、溶解性、類藥性和合成可及性等問題，可將學習到的表示作為分子圖結構上的圖卷積和注意力模型的特徵，也可用於BERT的微調。
• 可視化輔助：提出使用注意力可視化作為工具，幫助化學從業者和學生快速識別各種化學性質中的重要子結構。同時，注意力機制的可視化對化學反應分類也具有重要價值。

📚 詳細文檔

深度學習在化學和材料科學領域仍是一個具有巨大潛力的新興領域。然而，在自然語言處理和計算機視覺等領域流行的基於遷移學習的方法，在計算化學和機器學習中尚未得到有效發展。

本項目使用HuggingFace的模型套件和ByteLevel分詞器，在一個廣為人知的基準數據集ZINC的10萬個SMILES字符串的大型語料庫上進行訓練。對RoBERTa模型進行5個epoch的訓練後，模型取得了0.398的不錯損失，若增加訓練輪數，損失可能會繼續下降。

該模型可以預測SMILES序列/分子中的標記，從而能夠預測可發現化學空間內分子的變體。通過應用模型學習到的官能團和原子表示，我們可以嘗試在較小的數據集上解決毒性、溶解性、類藥性和合成可及性等問題。具體做法是將學習到的表示作為分子圖結構上的圖卷積和注意力模型的特徵，也可用於BERT的微調。

此外，注意力機制的可視化在之前的研究中被認為對化學反應分類非常有價值。開源像RoBERTa這樣的大規模Transformer模型，可能會加速這些獨立研究方向的發展。

包含訓練、上傳和評估筆記本（對如瑞德西韋等化合物進行了樣本預測）的倉庫鏈接可點擊此處查看。所有筆記本都可以複製到新的Colab運行時中輕鬆執行。

感謝關注！

• Seyone