Evo 1 131k Base

🚀 Evo-1 (Phase 2)

Evo是一个能够进行长上下文建模和设计的生物学基础模型。它使用StripedHyena架构，能以单核苷酸、字节级分辨率对序列进行建模，且计算和内存相对于上下文长度呈近线性扩展。

🚀 快速开始

最新消息

我们发现并修复了一个与某些投影排列错误相关的问题，该问题会影响生成质量。要使用新的模型版本，请按以下方式加载：

config = AutoConfig.from_pretrained(model_name, trust_remote_code=True, revision="1.1_fix")
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    config=config,
    trust_remote_code=True,
    revision="1.1_fix"
)

✨ 主要特性

• 长上下文建模：Evo-1 (Phase 2) 是Evo系列中的长上下文模型，在131k的上下文长度下进行训练，并在生成长度>650k的序列上进行了测试。
• 高效架构：采用StripedHyena架构，实现了高效的自回归生成、更快的长上下文训练和微调，以及优于现有技术架构的扩展定律。
• 开放科学承诺：发布了15个预训练中间检查点的权重，这些检查点可作为相应HuggingFace仓库的分支获取。

📦 安装指南

要使用StripedHyena，你需要安装自定义内核。请遵循独立仓库中的说明进行操作。

💻 使用示例

示例用法可在独立仓库中找到。

参数化推理和微调

深度信号处理模型的优势之一是其灵活性。根据预训练、微调或推理工作负载的内存、表达能力和因果关系要求，可以使用不同的卷积参数化。主要类别如下：

• 模态规范：无约束极点（参考，参考）或约束极点（参考，参考）。
• 伴随规范/有理：待公布。
• 超网络：超网络（参考），调制超网络（参考）。
• 显式：调制显式（参考）。

StripedHyena是一个混合精度模型。请确保将poles和residues保持在float32精度，特别是对于较长的提示或训练。

📚 详细文档

关于模型

Evo使用StripedHyena架构，能够以单核苷酸、字节级分辨率对序列进行建模，计算和内存相对于上下文长度呈近线性扩展。该模型有70亿个参数，在OpenGenome（一个包含约3000亿个标记的原核全基因组数据集）上进行训练。

我们在论文“Sequence modeling and design from molecular to genome scale with Evo”中对Evo进行了描述。

模型检查点

我们提供以下模型检查点：

🔧 技术细节

模型架构

StripedHyena是一种深度信号处理混合架构，由多头注意力和门控卷积组成，排列在Hyena块中，对仅解码器的Transformer进行了改进。

该架构的一些亮点：

• 高效自回归生成：通过循环模式实现（使用单个80GB GPU可生成>500k的序列）。
• 更快的长上下文训练和微调：在131k上下文下速度提高>3倍。
• 优于现有技术架构的扩展定律：在自然语言和生物序列上均表现出色。
• 对超出计算最优边界的训练具有鲁棒性：例如，在远超Chinchilla最优标记数量的情况下进行训练（详情见预印本，更多细节待公布）。

📄 许可证

本项目采用Apache-2.0许可证。

📖 引用

@article{nguyen2024sequence,
   author = {Eric Nguyen and Michael Poli and Matthew G. Durrant and Brian Kang and Dhruva Katrekar and David B. Li and Liam J. Bartie and Armin W. Thomas and Samuel H. King and Garyk Brixi and Jeremy Sullivan and Madelena Y. Ng and Ashley Lewis and Aaron Lou and Stefano Ermon and Stephen A. Baccus and Tina Hernandez-Boussard and Christopher Ré and Patrick D. Hsu and Brian L. Hie },
   title = {Sequence modeling and design from molecular to genome scale with Evo},
   journal = {Science},
   volume = {386},
   number = {6723},
   pages = {eado9336},
   year = {2024},
   doi = {10.1126/science.ado9336},
   URL = {https://www.science.org/doi/abs/10.1126/science.ado9336},