# GQA注意力機制

混元-7B-Instruct是騰訊發佈的中英文雙語大語言模型，具備強大的文本生成和理解能力，是目前最強的中文7B Dense模型之一。

混元-7B是騰訊發佈的開源大語言模型，具有256K長文本處理能力和分組查詢注意力機制(GQA)，在中文7B稠密模型中表現優異。

混元7B是騰訊開源的中英文雙語大語言模型，採用更優的數據配比和訓練方式，性能強勁，是目前最強的中文7B Dense模型之一。

Mistral-NeMo-Minitron-8B-Base是一個基礎的文本生成模型，通過對Mistral-NeMo 12B進行剪枝和蒸餾得到，適用於多種自然語言生成任務。

smol_llama是一個220M參數的小型解碼器模型，具備GQA（分組查詢注意力）機制，適用於文本生成等任務。

DeciLM-7B是一款擁有70.4億參數的純解碼器文本生成模型，基於Apache 2.0許可證發佈，是當前Open LLM排行榜上性能最佳的7B基礎語言模型。