Caduceus Ph Seqlen 131k D Model 256 N Layer 16

🚀 トランスフォーマー

このライブラリは、事前学習済みのモデルを用いた自然言語処理タスクを簡単に実行できるようにするためのものです。

🚀 クイックスタート

Caduceusの使用方法

マスク付き言語モデリングのための事前学習済みモデルを使用するには、以下のコードを使用します。

from transformers import AutoModelForMaskedLM, AutoTokenizer

# 利用可能なモデルのリストについては、ハブの `Caduceus` コレクションページを参照してください。
model_name = "kuleshov-group/caduceus-ph_seqlen-131k_d_model-256_n_layer-16"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForMaskedLM.from_pretrained(model_name)

あるいは、独自のデータで学習するために、モデルを最初からインスタンス化することもできます。

from transformers import AutoConfig, AutoModelForMaskedLM

# ここに任意の設定オーバーライドを追加してください。詳細については、ハブの `config.json` ファイルを参照してください。
config_overrides = {}
# 利用可能なモデルのリストについては、ハブの `Caduceus` コレクションページを参照してください。
config = AutoConfig.from_pretrained(
 "kuleshov-group/caduceus-ph_seqlen-131k_d_model-256_n_layer-16",
 **config_overrides,
) 
model = AutoModelForMaskedLM.from_config(config)

📚 ドキュメント

モデルの詳細

これは、隠れ次元が256で16のMambaDNAレイヤーを持つCaduceus-Phモデルです。このモデルは、本質的に逆相補（RC）等変ではありません。むしろ、RCデータ拡張を用いて事前学習されました。

その使用方法は以下の通りです。下流タスクでは、モデルはRCデータ拡張を用いて学習する必要があります。下流タスクの推論時には、モデルはシーケンスとそのRCの両方で2回実行する必要があります。これら2つの適用の出力を結合（平均）して、下流タスクの予測を形成する必要があります。

このモデルは、シーケンス長131,072のヒト参照ゲノムで50kステップ（各ステップには約1Mの塩基対/トークンが含まれています）で事前学習されました。

詳細については、以下の論文を参照してください。Caduceus: Bi-Directional Equivariant Long-Range DNA Sequence Modeling

📄 ライセンス

このライブラリは、Apache-2.0ライセンスの下で提供されています。

引用

以下のBibTeXを使用して、我々の研究を引用してください。

BibTeX:

@article{schiff2024caduceus,
  title={Caduceus: Bi-Directional Equivariant Long-Range DNA Sequence Modeling},
  author={Schiff, Yair and Kao, Chia-Hsiang and Gokaslan, Aaron and Dao, Tri and Gu, Albert and Kuleshov, Volodymyr},
  journal={arXiv preprint arXiv:2403.03234},
  year={2024}
}

モデルカードの連絡先

Yair Schiff (yzs2@cornell.edu)