# 混合SSM架构

PLaMo 2 8B是由Preferred Elements公司开发的80亿参数混合架构语言模型，支持英语和日语文本生成。

Zamba-7B-v1-phase1是状态空间模型Mamba与Transformer的混合架构，以Mamba为主干网络，每6个模块共享一个Transformer层，通过下一词预测进行训练。