Llama 3.1 Nemotron Ultra 253B V1 (Reasoning)

Meta Llama 3.1 405B Instructの253Bパラメータの派生モデルで、NVIDIAがニューラルアーキテクチャサーチ（NAS）と垂直圧縮を用いて開発しました。多段階のポストトレーニング（数学、コード、推論、チャット、ツール呼び出しのSFT；GRPOを用いたRL）を経て、推論能力と命令遵守能力を強化しています。NVIDIA GPU上での精度と効率のトレードオフに合わせて最適化されています。128kのコンテキストをサポートします。