# 混合Mamba-Transformer架構

Nemotron-H-56B-Base-8K是英偉達開發的大型語言模型，採用混合Mamba-Transformer架構，支持8K上下文長度和多語言文本生成。

NVIDIA Nemotron-H-47B-Base-8K 是由 NVIDIA 開發的大型語言模型（LLM），設計用於對給定文本進行補全。該模型採用混合架構，主要由 Mamba-2 和 MLP 層組成，並僅包含五個注意力層。

MambaVision是首個融合Mamba與Transformer優勢的計算機視覺混合模型，通過重構Mamba公式增強視覺特徵建模能力，並在Mamba架構最後幾層加入自注意力模塊提升長程空間依賴建模能力。