Caduceus Ph Seqlen 131k D Model 256 N Layer 16

🚀 Transformers庫之Caduceus模型

Transformers庫中的Caduceus模型可用於掩碼語言建模任務，通過預訓練模型能高效處理相關工作，同時也支持自定義訓練以適配特定需求。

🚀 快速開始

使用預訓練模型

若要使用預訓練模型進行掩碼語言建模，可使用以下代碼片段：

from transformers import AutoModelForMaskedLM, AutoTokenizer

# 查看hub上的 `Caduceus` 集合頁面以獲取可用模型列表。
model_name = "kuleshov-group/caduceus-ph_seqlen-131k_d_model-256_n_layer-16"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForMaskedLM.from_pretrained(model_name)

從頭實例化模型

或者，你可以從頭實例化一個模型，以便在自己的數據上進行訓練，代碼如下：

from transformers import AutoConfig, AutoModelForMaskedLM

# 在此處添加任何配置覆蓋項，詳情請查看hub上的 `config.json` 文件。
config_overrides = {}
# 查看hub上的 `Caduceus` 集合頁面以獲取可用模型列表。
config = AutoConfig.from_pretrained(
 "kuleshov-group/caduceus-ph_seqlen-131k_d_model-256_n_layer-16",
 **config_overrides,
) 
model = AutoModelForMaskedLM.from_config(config)

✨ 主要特性

• 模型結構：Caduceus - Ph模型，隱藏維度為256，包含16個MambaDNA層。
• 反向互補特性：該模型本身不具有反向互補（RC）等變性，而是通過RC數據增強進行預訓練。
• 使用方式：在下游任務中，模型應使用RC數據增強進行訓練。在下游任務推理時，模型應運行兩次，一次在原始序列上，一次在其RC序列上，然後將這兩次應用的輸出組合（平均）以形成下游任務預測。
• 預訓練數據：該模型在人類參考基因組上進行預訓練，序列長度為131,072，共進行了50k步訓練（每步包含約1M個鹼基對 / 標記）。

📚 詳細文檔

如需更多詳細信息，請參閱我們的論文：Caduceus: Bi - Directional Equivariant Long - Range DNA Sequence Modeling。

📄 許可證

本項目採用Apache - 2.0許可證。

📚 引用

請使用以下BibTeX引用我們的工作：

@article{schiff2024caduceus,
  title={Caduceus: Bi-Directional Equivariant Long-Range DNA Sequence Modeling},
  author={Schiff, Yair and Kao, Chia-Hsiang and Gokaslan, Aaron and Dao, Tri and Gu, Albert and Kuleshov, Volodymyr},
  journal={arXiv preprint arXiv:2403.03234},
  year={2024}
}

📞 模型卡片聯繫人

Yair Schiff (yzs2@cornell.edu)