# GQA効率的推論

Llama 3.3はMetaが開発した多言語大規模言語モデルで、700億のパラメータを持ち、多言語対話ユースケースに最適化されており、多くのベンチマークテストで優れた性能を発揮します。

Llama 3.2はMetaが発表した多言語大規模言語モデルシリーズで、1Bと3Bのパラメータを持つ事前学習と命令微調整バージョンが含まれ、8種類の公式言語をサポートし、多言語対話シーンを最適化しています。

Llama 3.2-VisionはMetaが開発したマルチモーダル大規模言語モデルで、画像とテキストの入力、テキスト出力をサポートし、視覚認識、画像推論、画像説明、画像質問応答タスクで優れた性能を発揮します。

Llama-3.1-Minitron-4B-Width-Baseは、Llama-3.1-8Bをプルーニングして得られた基本的なテキストからテキストへのモデルで、さまざまな自然言語生成タスクに適しています。

Minitron-8B-BaseはNemotron-4 15Bを剪裁して得られた大規模言語モデルで、蒸留継続訓練手法を採用し、ゼロから訓練する場合と比べて40倍の訓練トークンと1.8倍の計算コストを節約しました。

Meta Llama 3.1は多言語大規模言語モデルシリーズで、8B、70B、405Bの3つの規模の事前学習及び指示チューニング生成モデルを含み、多言語対話シナリオに最適化されています。

MetaがリリースしたLlama 3シリーズの大規模言語モデルで、8Bと70Bの2つの規模の事前学習および命令調整済み生成テキストモデルを含み、対話シナリオに最適化されており、業界ベンチマークで優れた性能を発揮します。

Metaがオープンソース化した700億パラメータの対話最適化大規模言語モデルで、安全性と実用性において主要なクローズドソースモデルに匹敵