Chemgpt 1.2B

🚀 ChemGPT 1.2B

ChemGPTはGPT - Neoモデルに基づいており、論文 Neural Scaling of Deep Chemical Models で紹介されました。

🚀 クイックスタート

このセクションでは、ChemGPTの基本的な使い方を説明します。

✨ 主な機能

ChemGPTは、生成的分子モデリング用のトランスフォーマーモデルで、PubChem10Mデータセットで事前学習されています。

📦 インストール

このモデルは🤗/transformersライブラリから直接使用できます。

💻 使用例

基本的な使用法

# You can use this model directly from the 🤗/transformers library.
# このモデルは🤗/transformersライブラリから直接使用できます。

📚 ドキュメント

想定される用途と制限

使用方法

このモデルは🤗/transformersライブラリから直接使用できます。

制限とバイアス

このモデルはPubChemの分子のサブセットで学習されています。このモデルを使用して分子を生成することができますが、主に下流のデータセットに対する事前学習とファインチューニングの影響を調査するために使用されることを想定しています。

学習データ

PubChem10Mは、PubChemからのSMILES文字列のデータセットで、DeepChem を通じて利用可能です。

学習手順

前処理

SMILES文字列は、SELFIESライブラリのバージョン1.0.4を使用してSELFIESに変換されました。

事前学習

LitMatterリポジトリ のコードを参照してください。

BibTeXエントリと引用情報

@article{frey_soklaski_axelrod_samsi_gomez-bombarelli_coley_gadepally_2022, 
place={Cambridge}, title={Neural Scaling of Deep Chemical Models}, 
DOI={10.26434/chemrxiv-2022-3s512}, journal={ChemRxiv}, publisher={Cambridge Open Engage}, 
author={Frey, Nathan and Soklaski, Ryan and Axelrod, Simon and Samsi, Siddharth and Gomez-Bombarelli, Rafael and Coley, Connor and Gadepally, Vijay}, 
year={2022}} This content is a preprint and has not been peer-reviewed.

Frey, Nathan, Ryan Soklaski, Simon Axelrod, Siddharth Samsi, Rafael Gomez-Bombarelli, Connor Coley, and Vijay Gadepally. 
"Neural Scaling of Deep Chemical Models." ChemRxiv (2022). Print. This content is a preprint and has not been peer-reviewed.