Chemgpt 1.2B

🚀 ChemGPT 1.2B

ChemGPT是基於GPT - Neo模型開發的，在論文Neural Scaling of Deep Chemical Models中被首次提出。它是一個用於生成分子建模的變換器模型，為化學領域的分子研究提供了強大的工具。

📚 模型描述

ChemGPT是一個用於生成分子建模的變換器模型，它在PubChem10M數據集上進行了預訓練。這使得它能夠在分子生成等相關任務中表現出色。

📋 預期用途與侷限性

💻 如何使用

你可以直接從🤗/transformers庫中使用這個模型。

⚠️ 侷限性和偏差

該模型是在PubChem分子的一個子集上進行訓練的。你可以使用這個模型來生成分子，但它主要用於研究預訓練和微調對下游數據集的影響。

📊 訓練數據

PubChem10M，這是一個來自PubChem的SMILES字符串數據集，可通過DeepChem獲取。

⚙️ 訓練過程

🔧 預處理

使用SELFIES庫的1.0.4版本將SMILES字符串轉換為SELFIES。

📈 預訓練

請參考LitMatter倉庫中的代碼。

📖 引用信息

@article{frey_soklaski_axelrod_samsi_gomez-bombarelli_coley_gadepally_2022, 
place={Cambridge}, title={Neural Scaling of Deep Chemical Models}, 
DOI={10.26434/chemrxiv-2022-3s512}, journal={ChemRxiv}, publisher={Cambridge Open Engage}, 
author={Frey, Nathan and Soklaski, Ryan and Axelrod, Simon and Samsi, Siddharth and Gomez-Bombarelli, Rafael and Coley, Connor and Gadepally, Vijay}, 
year={2022}} This content is a preprint and has not been peer-reviewed.

Frey, Nathan, Ryan Soklaski, Simon Axelrod, Siddharth Samsi, Rafael Gomez-Bombarelli, Connor Coley, and Vijay Gadepally. 
"Neural Scaling of Deep Chemical Models." ChemRxiv (2022). Print. This content is a preprint and has not been peer-reviewed.