Stripedhyena Hessian 7B

🚀 StripedHyena-Hessian-7B (SH 7B)

StripedHyena-Hessian-7B (SH 7B) 是基於信號處理啟發的序列模型研發的基礎模型。它是首個在短上下文和長上下文評估中，能與同規模最佳開源 Transformer 相競爭的替代模型。

🚀 快速開始

• 閱讀 博客 瞭解更多模型信息。
• 在 playground 中體驗模型。
• 深入瞭解 獨立實現 的細節，以及相關研究：1，2，3。

✨ 主要特性

模型架構

StripedHyena 是一種混合架構，由多頭、分組查詢注意力和門控捲積組成，這些組件被安排在 Hyena 塊中，與傳統的僅解碼器 Transformer 不同。

• 恆定內存解碼：通過將卷積表示為狀態空間模型（模態或規範形式）或截斷濾波器，在 Hyena 塊中實現恆定內存解碼。
• 低延遲和高吞吐量：與 Transformer 相比，具有更低的延遲、更快的解碼速度和更高的吞吐量。
• 優化訓練和推理：與 Llama - 2 等優化的 Transformer 架構相比，改進了訓練和推理的最優縮放定律。
• 長序列處理能力：在長達 32k 的序列上進行訓練，能夠處理更長的提示。

📄 許可證

本項目採用 Apache-2.0 許可證。

🔧 技術細節

注意事項

• 若要在 playground 之外使用 StripedHyena，你需要安裝自定義內核。請遵循 獨立倉庫 中的說明進行操作。
• StripedHyena 是一個混合精度模型。特別是在處理較長提示或進行訓練時，請確保將 poles 和 residues 保持在 float32 精度。

📚 引用

如果你發現預訓練模型或架構對你的研究或應用有用，請考慮引用：

@software{stripedhyena,
  title        = {{StripedHyena: Moving Beyond Transformers with Hybrid Signal Processing Models}},
  author       = { Poli, Michael and Wang, Jue and Massaroli, Stefano and Quesnelle, Jeffrey and Carlow, Ryan and Nguyen, Eric and Thomas, Armin},
  month        = 12,
  year         = 2023,
  url          = { https://github.com/togethercomputer/stripedhyena },
  doi          = { 10.57967/hf/1595 },
}