Stripedhyena Nous 7B

🚀 StripedHyena-Nous-7B (SH-N 7B)

StripedHyena-Nous-7B (SH-N 7B) 是一個聊天模型，由Together Research團隊與Nous Research合作開發。該模型源於信號處理啟發的序列模型研究項目，其架構StripedHyena是首個在短上下文和長上下文評估中能與同規模最佳開源Transformer相競爭的替代模型。

🚀 快速開始

• 閱讀博客文章，瞭解更多關於StripedHyena-Nous-7B的信息。
• 在playground上體驗模型。
• 深入研究獨立實現的細節，以及相關研究：1，2，3。

✨ 主要特性

模型架構

StripedHyena是一種混合架構，由多頭分組查詢注意力和門控捲積組成，排列在Hyena塊中，與傳統的僅解碼器Transformer不同：

• 恆定內存解碼：通過將卷積表示為狀態空間模型（模態或規範形式）或截斷濾波器，在Hyena塊中實現恆定內存解碼。
• 低延遲和高吞吐量：與Transformer相比，具有更低的延遲、更快的解碼速度和更高的吞吐量。
• 優化的訓練和推理：與優化的Transformer架構（如Llama - 2）相比，改進了訓練和推理的最優縮放定律。
• 長序列處理能力：在長達32k的序列上進行訓練，能夠處理更長的提示。

提示格式

StripedHyena-Nous 7B使用以下提示格式：

### Instruction:\n{prompt}\n\n### Response:\n{response}

⚠️ 注意事項

免責聲明

若要在playground之外使用StripedHyena，需要安裝自定義內核。請遵循獨立倉庫中的說明進行操作。

StripedHyena是一個混合精度模型。特別是在處理較長提示或進行訓練時，請確保將poles和residues保持在float32精度。

📄 許可證

本項目採用Apache - 2.0許可證。

📚 引用

如果您發現預訓練模型或架構對您的研究或應用有幫助，請考慮引用：

@software{stripedhyena,
  title        = {{StripedHyena: Moving Beyond Transformers with Hybrid Signal Processing Models}},
  author       = { Poli, Michael and Wang, Jue and Massaroli, Stefano and Quesnelle, Jeffrey and Carlow, Ryan and Nguyen, Eric and Thomas, Armin},
  month        = 12,
  year         = 2023,
  url          = { https://github.com/togethercomputer/stripedhyena },
  doi          = { 10.57967/hf/1595 },
}