# 混合Mamba-Transformer架构

Nemotron-H-56B-Base-8K是英伟达开发的大型语言模型，采用混合Mamba-Transformer架构，支持8K上下文长度和多语言文本生成。

NVIDIA Nemotron-H-47B-Base-8K 是由 NVIDIA 开发的大型语言模型（LLM），设计用于对给定文本进行补全。该模型采用混合架构，主要由 Mamba-2 和 MLP 层组成，并仅包含五个注意力层。

MambaVision是首个融合Mamba与Transformer优势的计算机视觉混合模型，通过重构Mamba公式增强视觉特征建模能力，并在Mamba架构最后几层加入自注意力模块提升长程空间依赖建模能力。