# KV緩存優化

LaMaTE是基於Llama-3-8B開發的高性能高效翻譯模型，利用大語言模型作為機器翻譯編碼器，搭配輕量級解碼器。

Meta-Llama-3-8B-Instruct模型經過FP8權重和激活值的逐張量量化，適用於vLLM >= 0.5.0進行推理。該模型檢查點還包含FP8量化KV緩存的逐張量縮放參數。