# KVキャッシュ最適化

LaMaTEはLlama-3-8Bをベースに開発された高性能・高効率翻訳モデルで、大規模言語モデルを機械翻訳エンコーダとして利用し、軽量デコーダと組み合わせています。

Meta-Llama-3-8B-InstructモデルはFP8重みと活性化値のテンソルごとの量子化を施しており、vLLM >= 0.5.0での推論に適しています。このモデルチェックポイントにはFP8量子化KVキャッシュのテンソルごとのスケーリングパラメータも含まれています。