Seerattention QwQ 32B AttnGates

🚀 トランスフォーマーにおけるQwQ - 32BモデルのAttnGates重み

このリポジトリには、SeerAttentionによって導入されたQwQ - 32BモデルのAttnGatesの重みが含まれています。この技術は、長文脈の大規模言語モデル（LLM）の計算量の多いプリフィル段階を高速化するために、学習可能なAttnGateモジュールを導入しています。

🚀 クイックスタート

このリポジトリでは、QwQ - 32BモデルのAttnGatesの重みを提供しています。SeerAttentionによる技術を用いて、長文脈の大規模言語モデルのプリフィル段階を高速化することができます。

SeerAttention では、学習可能なAttnGateモジュールを導入することで、長文脈の大規模言語モデル（LLM）の計算量の多いプリフィル段階を動的なブロックレベルの疎性を通じて高速化しています。AttnGatesは、パラメータ効率の高い自己蒸留フレームワークで学習され、元の凍結モデルの2D最大プーリングされたアテンションパターンを模倣するように学習します。これにより、モデルの完全性を維持しながら、コストのかかる再学習を回避することができます。推論時には、これらのゲートは学習したソフトスコアにしきい値/TopKを適用することでブロック疎なバイナリマスクを生成し、カスタムのブロック疎なFlashAttentionカーネルを通じて効率的な計算を可能にします。

📚 ドキュメント

オリジナルのGitHubリポジトリ

https://github.com/microsoft/SeerAttention

📄 ライセンス

このプロジェクトはApache - 2.0ライセンスの下で提供されています。