# GQA注意力机制

混元-7B-Instruct是腾讯发布的中英文双语大语言模型，具备强大的文本生成和理解能力，是目前最强的中文7B Dense模型之一。

混元-7B是腾讯发布的开源大语言模型，具有256K长文本处理能力和分组查询注意力机制(GQA)，在中文7B稠密模型中表现优异。

混元7B是腾讯开源的中英文双语大语言模型，采用更优的数据配比和训练方式，性能强劲，是目前最强的中文7B Dense模型之一。

Mistral-NeMo-Minitron-8B-Base是一个基础的文本生成模型，通过对Mistral-NeMo 12B进行剪枝和蒸馏得到，适用于多种自然语言生成任务。

DeciLM-7B是一款拥有70.4亿参数的纯解码器文本生成模型，基于Apache 2.0许可证发布，是当前Open LLM排行榜上性能最佳的7B基础语言模型。