Evo 1 131k Base

🚀 Evo-1 (Phase 2)

Evo是一個能夠進行長上下文建模和設計的生物學基礎模型。它使用StripedHyena架構，能以單核苷酸、字節級分辨率對序列進行建模，且計算和內存相對於上下文長度呈近線性擴展。

🚀 快速開始

最新消息

我們發現並修復了一個與某些投影排列錯誤相關的問題，該問題會影響生成質量。要使用新的模型版本，請按以下方式加載：

config = AutoConfig.from_pretrained(model_name, trust_remote_code=True, revision="1.1_fix")
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    config=config,
    trust_remote_code=True,
    revision="1.1_fix"
)

✨ 主要特性

• 長上下文建模：Evo-1 (Phase 2) 是Evo系列中的長上下文模型，在131k的上下文長度下進行訓練，並在生成長度>650k的序列上進行了測試。
• 高效架構：採用StripedHyena架構，實現了高效的自迴歸生成、更快的長上下文訓練和微調，以及優於現有技術架構的擴展定律。
• 開放科學承諾：發佈了15個預訓練中間檢查點的權重，這些檢查點可作為相應HuggingFace倉庫的分支獲取。

📦 安裝指南

要使用StripedHyena，你需要安裝自定義內核。請遵循獨立倉庫中的說明進行操作。

💻 使用示例

示例用法可在獨立倉庫中找到。

參數化推理和微調

深度信號處理模型的優勢之一是其靈活性。根據預訓練、微調或推理工作負載的內存、表達能力和因果關係要求，可以使用不同的卷積參數化。主要類別如下：

• 模態規範：無約束極點（參考，參考）或約束極點（參考，參考）。
• 伴隨規範/有理：待公佈。
• 超網絡：超網絡（參考），調製超網絡（參考）。
• 顯式：調製顯式（參考）。

StripedHyena是一個混合精度模型。請確保將poles和residues保持在float32精度，特別是對於較長的提示或訓練。

📚 詳細文檔

關於模型

Evo使用StripedHyena架構，能夠以單核苷酸、字節級分辨率對序列進行建模，計算和內存相對於上下文長度呈近線性擴展。該模型有70億個參數，在OpenGenome（一個包含約3000億個標記的原核全基因組數據集）上進行訓練。

我們在論文“Sequence modeling and design from molecular to genome scale with Evo”中對Evo進行了描述。

模型檢查點

我們提供以下模型檢查點：

🔧 技術細節

模型架構

StripedHyena是一種深度信號處理混合架構，由多頭注意力和門控捲積組成，排列在Hyena塊中，對僅解碼器的Transformer進行了改進。

該架構的一些亮點：

• 高效自迴歸生成：通過循環模式實現（使用單個80GB GPU可生成>500k的序列）。
• 更快的長上下文訓練和微調：在131k上下文下速度提高>3倍。
• 優於現有技術架構的擴展定律：在自然語言和生物序列上均表現出色。
• 對超出計算最優邊界的訓練具有魯棒性：例如，在遠超Chinchilla最優標記數量的情況下進行訓練（詳情見預印本，更多細節待公佈）。

📄 許可證

本項目採用Apache-2.0許可證。

📖 引用

@article{nguyen2024sequence,
   author = {Eric Nguyen and Michael Poli and Matthew G. Durrant and Brian Kang and Dhruva Katrekar and David B. Li and Liam J. Bartie and Armin W. Thomas and Samuel H. King and Garyk Brixi and Jeremy Sullivan and Madelena Y. Ng and Ashley Lewis and Aaron Lou and Stefano Ermon and Stephen A. Baccus and Tina Hernandez-Boussard and Christopher Ré and Patrick D. Hsu and Brian L. Hie },
   title = {Sequence modeling and design from molecular to genome scale with Evo},
   journal = {Science},
   volume = {386},
   number = {6723},
   pages = {eado9336},
   year = {2024},
   doi = {10.1126/science.ado9336},
   URL = {https://www.science.org/doi/abs/10.1126/science.ado9336},