Plantcaduceus L32

🚀 PlantCaduceus

PlantCaduceusは、16種の被子植物のゲノムで事前学習されたDNA言語モデルです。このモデルは、進化的保存とDNA配列の文法を学習することを目的としており、1億6000万年にわたる進化の歴史を持つ16種の植物のゲノムデータを利用しています。

🚀 クイックスタート

PlantCaduceusは、16種の被子植物のゲノムデータを用いて事前学習されたDNA言語モデルです。このモデルは、Caduceus と Mamba のアーキテクチャを利用し、マスク言語モデリングの目的で学習されています。様々なパラメータサイズのPlantCaduceusモデルが学習されており、以下の通りです：

• PlantCaduceus_l20: 20層、隠れ層サイズ384、パラメータ数20M
• PlantCaduceus_l24: 24層、隠れ層サイズ512、パラメータ数40M
• PlantCaduceus_l28: 28層、隠れ層サイズ768、パラメータ数112M
• PlantCaduceus_l32: 32層、隠れ層サイズ1024、パラメータ数225M

ゼロショットスコア推定には、最も大きなモデル (PlantCaduceus_l32) の使用を強くおすすめします。

💻 使用例

基本的な使用法

from transformers import AutoModel, AutoModelForMaskedLM, AutoTokenizer
import torch
model_path = 'kuleshov-group/PlantCaduceus_l32'
device = "cuda:0" if torch.cuda.is_available() else "cpu"
model = AutoModelForMaskedLM.from_pretrained(model_path, trust_remote_code=True, device_map=device)
model.eval()
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)

sequence = "ATGCGTACGATCGTAG"
encoding = tokenizer.encode_plus(
            sequence,
            return_tensors="pt",
            return_attention_mask=False,
            return_token_type_ids=False
        )
input_ids = encoding["input_ids"].to(device)
with torch.inference_mode():
    outputs = model(input_ids=input_ids, output_hidden_states=True)

📚 ドキュメント

引用

@article {Zhai2024.06.04.596709,
	author = {Zhai, Jingjing and Gokaslan, Aaron and Schiff, Yair and Berthel, Ana and Liu, Zong-Yan and Miller, Zachary R and Scheben, Armin and Stitzer, Michelle C and Romay, Cinta and Buckler, Edward S. and Kuleshov, Volodymyr},
	title = {Cross-species plant genomes modeling at single nucleotide resolution using a pre-trained DNA language model},
	elocation-id = {2024.06.04.596709},
	year = {2024},
	doi = {10.1101/2024.06.04.596709},
	URL = {https://www.biorxiv.org/content/early/2024/06/05/2024.06.04.596709},
	eprint = {https://www.biorxiv.org/content/early/2024/06/05/2024.06.04.596709.full.pdf},
	journal = {bioRxiv}
}

連絡先

Jingjing Zhai (jz963@cornell.edu)

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。