Caduceus Ps Seqlen 131k D Model 256 N Layer 16

🚀 Transformers

Transformersは、事前学習済みのモデルを用いた自然言語処理を容易にするライブラリです。このライブラリを使用することで、マスク言語モデリングなどのタスクを簡単に実行できます。

🚀 クイックスタート

事前学習済みモデルの使用

マスク言語モデリングのために事前学習済みモデルを使用するには、以下のコードを使用します。

from transformers import AutoModelForMaskedLM, AutoTokenizer

# 利用可能なモデルのリストは、ハブの `Caduceus` コレクションページを参照してください。
model_name = "kuleshov-group/caduceus-ps_seqlen-131k_d_model-256_n_layer-16"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForMaskedLM.from_pretrained(model_name)

独自データでの学習用モデルのインスタンス化

独自のデータで学習するために、モデルを最初からインスタンス化することもできます。

from transformers import AutoConfig, AutoModelForMaskedLM

# コンフィグの上書きをここに追加してください。詳細は、ハブの `config.json` ファイルを参照してください。
config_overrides = {}
# 利用可能なモデルのリストは、ハブの `Caduceus` コレクションページを参照してください。
config = AutoConfig.from_pretrained(
 "kuleshov-group/caduceus-ps_seqlen-131k_d_model-256_n_layer-16",
 **config_overrides,
) 
model = AutoModelForMaskedLM.from_config(config)

📚 ドキュメント

モデルの詳細

これは、隠れ次元が256で16のMambaDNA層を持つCaduceus-PSモデルです。このモデルは逆相補（RC）等変であり、事前学習時または下流の微調整時にRCデータ拡張は必要ありません。

モデルの隠れ状態は、非RC等変の同等のモデルの2倍になります。下流タスクの学習と推論では、下流時にRC 不変 出力を確保するために、隠れ状態とそのRCで下流モデルを実行するか、隠れ状態とそのRCを平均化してから下流モデルに渡すことができます。

隠れ状態をRCするには、hidden_states.flip(dim=(-2, -1)) を使用して、シーケンス長とチャネル次元に沿って反転させることができます。

このモデルは、シーケンス長131,072のヒト参照ゲノムで50kステップ（各ステップには約1M塩基対/トークンが含まれています）事前学習されています。

詳細については、以下の論文を参照してください。Caduceus: Bi-Directional Equivariant Long-Range DNA Sequence Modeling

引用

以下のBibTeXを使用して、我々の研究を引用してください。

BibTeX:

@article{schiff2024caduceus,
  title={Caduceus: Bi-Directional Equivariant Long-Range DNA Sequence Modeling},
  author={Schiff, Yair and Kao, Chia-Hsiang and Gokaslan, Aaron and Dao, Tri and Gu, Albert and Kuleshov, Volodymyr},
  journal={arXiv preprint arXiv:2403.03234},
  year={2024}
}

モデルカードの問い合わせ先

Yair Schiff (yzs2@cornell.edu)

📄 ライセンス

このライブラリはApache-2.0ライセンスの下で提供されています。