Stripedhyena Nous 7B

🚀 StripedHyena-Nous-7B (SH-N 7B)

Together Researchの新しいアーキテクチャに基づくチャットモデルで、短文と長文の評価においてオープンソースのTransformerと競争力を持つものです。

🚀 クイックスタート

Together Researchでは、Transformerアーキテクチャに対する長文コンテキストの新しいアーキテクチャ、改善されたトレーニング、および推論パフォーマンスが焦点領域の1つです。チームと学術協力者による研究プログラムから派生し、信号処理に触発されたシーケンスモデルに根ざしたStripedHyenaモデルを紹介します。StripedHyenaは、短文と長文の評価において、同サイズの最高のオープンソースTransformerと競争力のある最初の代替モデルです。

StripedHyena-Nous-7B (SH-N 7B) は今回のリリースのチャットモデルで、Nous Research の協力者と共同開発されました。

• ブログで詳細を読む
• プレイグラウンドでモデルを試す
• スタンドアロン実装の詳細と関連研究を調べる: 1, 2, 3

✨ 主な機能

アーキテクチャの特徴

StripedHyenaは、Hyenaブロックに配置されたマルチヘッド、グループ化クエリアテンションとゲート付き畳み込みから構成されるハイブリッドアーキテクチャで、従来のデコーダ専用Transformerとは異なります。

• 畳み込みを状態空間モデル（モーダルまたは正準形）または切り捨てフィルタとして表現することにより、Hyenaブロックで一定のメモリデコードを実現
• Transformerよりも低遅延、高速デコード、高スループット
• Llama-2などの最適化されたTransformerアーキテクチャと比較して、トレーニングと推論の最適スケーリング則が改善
• 最大32kのシーケンスでトレーニングされており、長いプロンプトを処理できる

プロンプトフォーマット

StripedHyena-Nous 7Bは以下のプロンプトフォーマットを使用します。

### Instruction:\n{prompt}\n\n### Response:\n{response}

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

🔧 技術詳細

引用方法

もしこの事前学習モデルやアーキテクチャがあなたの研究やアプリケーションに役立った場合は、以下のように引用してください。

@software{stripedhyena,
  title        = {{StripedHyena: Moving Beyond Transformers with Hybrid Signal Processing Models}},
  author       = { Poli, Michael and Wang, Jue and Massaroli, Stefano and Quesnelle, Jeffrey and Carlow, Ryan and Nguyen, Eric and Thomas, Armin},
  month        = 12,
  year         = 2023,
  url          = { https://github.com/togethercomputer/stripedhyena },
  doi          = { 10.57967/hf/1595 },
}

⚠️ 重要提示

プレイグラウンド外でStripedHyenaを使用するには、カスタムカーネルをインストールする必要があります。スタンドアロンリポジトリの指示に従ってください。

💡 使用建议

StripedHyenaは混合精度モデルです。特に長いプロンプトやトレーニングの際には、poles と residues を float32 精度に保つようにしてください。