Stripedhyena Hessian 7B

🚀 StripedHyena-Hessian-7B (SH 7B)

StripedHyena-Hessian-7B (SH 7B) 是基于信号处理启发的序列模型研发的基础模型。它是首个在短上下文和长上下文评估中，能与同规模最佳开源 Transformer 相竞争的替代模型。

🚀 快速开始

• 阅读 博客 了解更多模型信息。
• 在 playground 中体验模型。
• 深入了解 独立实现 的细节，以及相关研究：1，2，3。

✨ 主要特性

模型架构

StripedHyena 是一种混合架构，由多头、分组查询注意力和门控卷积组成，这些组件被安排在 Hyena 块中，与传统的仅解码器 Transformer 不同。

• 恒定内存解码：通过将卷积表示为状态空间模型（模态或规范形式）或截断滤波器，在 Hyena 块中实现恒定内存解码。
• 低延迟和高吞吐量：与 Transformer 相比，具有更低的延迟、更快的解码速度和更高的吞吐量。
• 优化训练和推理：与 Llama - 2 等优化的 Transformer 架构相比，改进了训练和推理的最优缩放定律。
• 长序列处理能力：在长达 32k 的序列上进行训练，能够处理更长的提示。

📄 许可证

本项目采用 Apache-2.0 许可证。

🔧 技术细节

注意事项

• 若要在 playground 之外使用 StripedHyena，你需要安装自定义内核。请遵循 独立仓库 中的说明进行操作。
• StripedHyena 是一个混合精度模型。特别是在处理较长提示或进行训练时，请确保将 poles 和 residues 保持在 float32 精度。

📚 引用

如果你发现预训练模型或架构对你的研究或应用有用，请考虑引用：

@software{stripedhyena,
  title        = {{StripedHyena: Moving Beyond Transformers with Hybrid Signal Processing Models}},
  author       = { Poli, Michael and Wang, Jue and Massaroli, Stefano and Quesnelle, Jeffrey and Carlow, Ryan and Nguyen, Eric and Thomas, Armin},
  month        = 12,
  year         = 2023,
  url          = { https://github.com/togethercomputer/stripedhyena },
  doi          = { 10.57967/hf/1595 },
}