# GQA高效推理

Llama 3.3是Meta開發的多語言大語言模型，擁有700億參數，針對多語言對話用例優化，在多項基準測試中表現優異。

Llama 3.2 是 Meta 推出的多語言大語言模型系列，包含 1B 和 3B 參數的預訓練和指令微調版本，支持 8 種官方語言，優化了多語言對話場景。

Llama 3.2-Vision是Meta開發的多模態大語言模型，支持圖像和文本輸入，文本輸出，在視覺識別、圖像推理、圖像描述和圖像問答任務上表現優異。

Llama-3.1-Minitron-4B-Width-Base是一個基礎文本到文本模型，通過對Llama-3.1-8B進行剪枝獲得，適用於多種自然語言生成任務。

Minitron-8B-Base是通過剪裁Nemotron-4 15B獲得的大型語言模型，採用蒸餾持續訓練方法，相比從頭訓練節省了40倍的訓練token和1.8倍的計算成本。

Meta Llama 3.1 是一個多語言大語言模型系列，包含8B、70B和405B三種規模的預訓練及指令調優生成模型，針對多語言對話場景優化。

Meta發佈的Llama 3系列大語言模型，包含8B和70B兩種規模的預訓練及指令調優生成式文本模型，針對對話場景優化，在行業基準測試中表現優異。

Meta開源的700億參數對話優化大語言模型，在安全性和實用性上媲美主流閉源模型