Meta Llama 3 8B Instruct FP8 KV

🚀 Meta-Llama-3-8B-Instruct-FP8-KV

本項目的Meta-Llama-3-8B-Instruct-FP8-KV模型，將Meta-Llama-3-8B-Instruct模型量化為FP8權重和激活值，可藉助vLLM進行推理。同時，該模型還包含FP8量化的KV緩存，能有效提升推理效率。

🚀 快速開始

使用以下代碼即可加載並運行模型：

from vllm import LLM
model = LLM(model="neuralmagic/Meta-Llama-3-8B-Instruct-FP8-KV", kv_cache_dtype="fp8")
result = model.generate("Hello, my name is")

✨ 主要特性

• FP8量化：採用逐張量量化方式，將模型的權重和激活值量化為FP8格式，減少內存佔用，提升推理速度。
• KV緩存支持：模型檢查點包含FP8量化的KV緩存的逐張量縮放，可通過vLLM中的 --kv-cache-dtype fp8 參數訪問。

📦 安裝指南

文檔中未提及具體安裝步驟，若要使用該模型，需確保安裝了vLLM >= 0.5.0版本。

💻 使用示例

基礎用法

from vllm import LLM
model = LLM(model="neuralmagic/Meta-Llama-3-8B-Instruct-FP8-KV", kv_cache_dtype="fp8")
result = model.generate("Hello, my name is")

高級用法

以下代碼展示瞭如何使用 AutoFP8 和校準樣本對模型進行量化：

from datasets import load_dataset
from transformers import AutoTokenizer

from auto_fp8 import AutoFP8ForCausalLM, BaseQuantizeConfig

pretrained_model_dir = "meta-llama/Meta-Llama-3-8B-Instruct"
quantized_model_dir = "Meta-Llama-3-8B-Instruct-FP8-KV"

tokenizer = AutoTokenizer.from_pretrained(pretrained_model_dir, use_fast=True)
tokenizer.pad_token = tokenizer.eos_token

ds = load_dataset("mgoin/ultrachat_2k", split="train_sft")
examples = [tokenizer.apply_chat_template(batch["messages"], tokenize=False) for batch in ds]
examples = tokenizer(examples, padding=True, truncation=True, return_tensors="pt").to("cuda")

quantize_config = BaseQuantizeConfig(
    quant_method="fp8",
    activation_scheme="static",
    ignore_patterns=["re:.*lm_head"],
    kv_cache_quant_targets=("k_proj", "v_proj"),
)

model = AutoFP8ForCausalLM.from_pretrained(pretrained_model_dir, quantize_config)
model.quantize(examples)
model.save_quantized(quantized_model_dir)

📚 詳細文檔

評估結果

這些評估結果展示了本模型在特定任務上的性能表現，與原始模型及其他量化版本進行了對比。