Gpt2 Zinc 87m

🚀 GPT2 Zinc 87m

このモデルは、ZINCデータベース から取得した約4.8億のSMILES文字列で学習された、GPT2スタイルの自己回帰型言語モデルです。

このモデルは約8700万個のパラメータを持ち、バッチサイズ3072で175,000回の反復学習を行い、検証損失を約0.615まで抑えました。このモデルは、医薬品に似た分子を生成したり、SMILES文字列から埋め込みベクトルを生成するのに役立ちます。

🚀 クイックスタート

💻 使用例

基本的な使用法

from transformers import GPT2TokenizerFast, GPT2LMHeadModel

tokenizer = GPT2TokenizerFast.from_pretrained("entropy/gpt2_zinc_87m", max_len=256)
model = GPT2LMHeadModel.from_pretrained('entropy/gpt2_zinc_87m')

高度な使用法

分子を生成する場合:

import torch
inputs = torch.tensor([[tokenizer.bos_token_id]])

gen = model.generate(
              inputs,
              do_sample=True, 
              max_length=256, 
              temperature=1.,
              early_stopping=True,
              pad_token_id=tokenizer.pad_token_id,
              num_return_sequences=32
                         )
smiles = tokenizer.batch_decode(gen, skip_special_tokens=True)

埋め込みベクトルを計算する場合:

from transformers import DataCollatorWithPadding

collator = DataCollatorWithPadding(tokenizer, padding=True, return_tensors='pt')

inputs = collator(tokenizer(smiles))
outputs = model(**inputs, output_hidden_states=True)
full_embeddings = outputs[-1][-1]
mask = inputs['attention_mask']
embeddings = ((full_embeddings * mask.unsqueeze(-1)).sum(1) / mask.sum(-1).unsqueeze(-1))

⚠️ 重要提示

このモデルは、SMILES入力の前後に bos と eos トークンを付けて学習されています。GPT2TokenizerFast トークナイザーは、add_special_tokens=True を指定しても、特殊トークンを追加しません。Huggingfaceによると、これは 意図された動作 とのことです。 これらのトークンを手動で追加する必要がある場合があります。

inputs = collator(tokenizer([tokenizer.bos_token+i+tokenizer.eos_token for i in smiles]))

📚 ドキュメント

モデルのパフォーマンス

生成性能をテストするために、様々な温度値で100万個の化合物を生成しました。生成された化合物の一意性と構造的な有効性を確認しました。

• percent_unique は n_unique_smiles/n_total_smiles を表します。
• percent_valid は n_valid_smiles/n_unique_smiles を表します。
• percent_unique_and_valid は n_valid_smiles/n_total_smiles を表します。

100万個の生成化合物に対して計算された特性ヒストグラム:

📄 ライセンス

このモデルはMITライセンスの下で提供されています。