Chemberta Zinc Base V1

🚀 ChemBERTa：训练类似BERT的Transformer模型用于化学SMILES字符串的掩码语言建模

ChemBERTa致力于解决在计算化学和机器学习领域，基于迁移学习方法未得到有效发展的问题。通过使用HuggingFace的模型套件和ByteLevel分词器，在大量化学数据上训练模型，为化学和材料科学领域的深度学习研究提供了新的工具和方法，具有重要的科研和应用价值。

✨ 主要特性

• 有效利用迁移学习：在计算化学和机器学习领域，借鉴自然语言处理和计算机视觉中基于迁移学习的方法，使用HuggingFace的模型套件和ByteLevel分词器，在包含10万个SMILES字符串的ZINC基准数据集上进行训练。
• 良好的训练效果：对RoBERTa模型进行5个epoch的训练，模型损失达到0.398，若增加训练轮数，损失可能会进一步降低。
• 分子预测能力：模型能够预测SMILES序列/分子中的标记，从而可以预测可发现化学空间内分子的变体。
• 多领域应用：应用模型学习到的官能团和原子表示，可尝试解决小分子数据集的毒性、溶解性、类药性和合成可及性等问题，可将学习到的表示作为分子图结构上的图卷积和注意力模型的特征，也可用于BERT的微调。
• 可视化辅助：提出使用注意力可视化作为工具，帮助化学从业者和学生快速识别各种化学性质中的重要子结构。同时，注意力机制的可视化对化学反应分类也具有重要价值。

📚 详细文档

深度学习在化学和材料科学领域仍是一个具有巨大潜力的新兴领域。然而，在自然语言处理和计算机视觉等领域流行的基于迁移学习的方法，在计算化学和机器学习中尚未得到有效发展。

本项目使用HuggingFace的模型套件和ByteLevel分词器，在一个广为人知的基准数据集ZINC的10万个SMILES字符串的大型语料库上进行训练。对RoBERTa模型进行5个epoch的训练后，模型取得了0.398的不错损失，若增加训练轮数，损失可能会继续下降。

该模型可以预测SMILES序列/分子中的标记，从而能够预测可发现化学空间内分子的变体。通过应用模型学习到的官能团和原子表示，我们可以尝试在较小的数据集上解决毒性、溶解性、类药性和合成可及性等问题。具体做法是将学习到的表示作为分子图结构上的图卷积和注意力模型的特征，也可用于BERT的微调。

此外，注意力机制的可视化在之前的研究中被认为对化学反应分类非常有价值。开源像RoBERTa这样的大规模Transformer模型，可能会加速这些独立研究方向的发展。

包含训练、上传和评估笔记本（对如瑞德西韦等化合物进行了样本预测）的仓库链接可点击此处查看。所有笔记本都可以复制到新的Colab运行时中轻松执行。

感谢关注！

• Seyone