模型概述
模型特點
模型能力
使用案例
🚀 Meta-Llama-3.1-70B-Instruct-FP8
Meta-Llama-3.1-70B-Instruct-FP8 是 Meta-Llama-3.1-70B-Instruct 的量化版本,將權重和激活量化為 FP8 數據類型,降低了磁盤大小和 GPU 內存需求。該模型適用於多種語言的商業和研究用途,可用於類助手聊天場景。
🚀 快速開始
使用 vLLM 進行部署
此模型可以使用 vLLM 後端進行高效部署,示例代碼如下:
from vllm import LLM, SamplingParams
from transformers import AutoTokenizer
model_id = "neuralmagic/Meta-Llama-3.1-70B-Instruct-FP8"
number_gpus = 2
sampling_params = SamplingParams(temperature=0.6, top_p=0.9, max_tokens=256)
tokenizer = AutoTokenizer.from_pretrained(model_id)
messages = [
{"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
{"role": "user", "content": "Who are you?"},
]
prompts = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)
llm = LLM(model=model_id, tensor_parallel_size=number_gpus)
outputs = llm.generate(prompts, sampling_params)
generated_text = outputs[0].outputs[0].text
print(generated_text)
vLLM 還支持與 OpenAI 兼容的服務,更多詳情請參閱 文檔。
✨ 主要特性
- 多語言支持:支持英語、德語、法語、意大利語、葡萄牙語、印地語、西班牙語和泰語等多種語言。
- 量化優化:將權重和激活量化為 FP8 數據類型,減少磁盤大小和 GPU 內存需求約 50%。
- 高效推理:可使用 vLLM 後端進行高效部署。
📦 安裝指南
文檔未提供具體安裝步驟,暫不展示。
💻 使用示例
基礎用法
from vllm import LLM, SamplingParams
from transformers import AutoTokenizer
model_id = "neuralmagic/Meta-Llama-3.1-70B-Instruct-FP8"
number_gpus = 2
sampling_params = SamplingParams(temperature=0.6, top_p=0.9, max_tokens=256)
tokenizer = AutoTokenizer.from_pretrained(model_id)
messages = [
{"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
{"role": "user", "content": "Who are you?"},
]
prompts = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)
llm = LLM(model=model_id, tensor_parallel_size=number_gpus)
outputs = llm.generate(prompts, sampling_params)
generated_text = outputs[0].outputs[0].text
print(generated_text)
高級用法
文檔未提供高級用法示例,暫不展示。
📚 詳細文檔
模型概述
- 模型架構:Meta-Llama-3.1
- 輸入:文本
- 輸出:文本
- 模型優化:
- 權重量化:FP8
- 激活量化:FP8
- 預期用例:適用於多種語言的商業和研究用途,與 Meta-Llama-3.1-8B-Instruct 類似,該模型旨在用於類助手聊天。
- 不適用範圍:以任何違反適用法律法規(包括貿易合規法律)的方式使用,以及使用除英語以外的語言。
- 發佈日期:2024 年 7 月 23 日
- 版本:1.0
- 許可證:llama3.1
- 模型開發者:Neural Magic
該模型是 Meta-Llama-3.1-70B-Instruct 的量化版本,在 OpenLLM 基準測試(版本 1)中平均得分 84.29,而未量化模型的得分為 84.40。
模型優化
此模型通過將 Meta-Llama-3.1-70B-Instruct 的權重和激活量化為 FP8 數據類型而獲得。這種優化將每個參數的位數從 16 位減少到 8 位,使磁盤大小和 GPU 內存需求降低了約 50%。
僅對 Transformer 塊內線性算子的權重和激活進行量化,採用對稱的每張量量化,即使用單個線性縮放映射量化權重和激活的 FP8 表示。使用 LLM Compressor 對 512 個 UltraChat 序列進行量化。
模型創建
該模型通過應用 帶有 UltraChat 校準樣本的 LLM Compressor 創建,代碼示例如下:
import torch
from datasets import load_dataset
from transformers import AutoTokenizer
from llmcompressor.transformers import SparseAutoModelForCausalLM, oneshot
from llmcompressor.transformers.compression.helpers import (
calculate_offload_device_map,
custom_offload_device_map,
)
recipe = """
quant_stage:
quant_modifiers:
QuantizationModifier:
ignore: ["lm_head"]
config_groups:
group_0:
weights:
num_bits: 8
type: float
strategy: tensor
dynamic: false
symmetric: true
input_activations:
num_bits: 8
type: float
strategy: tensor
dynamic: false
symmetric: true
targets: ["Linear"]
"""
model_stub = "meta-llama/Meta-Llama-3.1-70B-Instruct"
model_name = model_stub.split("/")[-1]
device_map = calculate_offload_device_map(
model_stub, reserve_for_hessians=False, num_gpus=2, torch_dtype="auto"
)
model = SparseAutoModelForCausalLM.from_pretrained(
model_stub, torch_dtype="auto", device_map=device_map
)
tokenizer = AutoTokenizer.from_pretrained(model_stub)
output_dir = f"./{model_name}-FP8"
DATASET_ID = "HuggingFaceH4/ultrachat_200k"
DATASET_SPLIT = "train_sft"
NUM_CALIBRATION_SAMPLES = 512
MAX_SEQUENCE_LENGTH = 4096
ds = load_dataset(DATASET_ID, split=DATASET_SPLIT)
ds = ds.shuffle(seed=42).select(range(NUM_CALIBRATION_SAMPLES))
def preprocess(example):
return {
"text": tokenizer.apply_chat_template(
example["messages"],
tokenize=False,
)
}
ds = ds.map(preprocess)
def tokenize(sample):
return tokenizer(
sample["text"],
padding=False,
max_length=MAX_SEQUENCE_LENGTH,
truncation=True,
add_special_tokens=False,
)
ds = ds.map(tokenize, remove_columns=ds.column_names)
oneshot(
model=model,
output_dir=output_dir,
dataset=ds,
recipe=recipe,
max_seq_length=MAX_SEQUENCE_LENGTH,
num_calibration_samples=NUM_CALIBRATION_SAMPLES,
save_compressed=True,
)
模型評估
該模型在 MMLU、ARC-Challenge、GSM-8K、Hellaswag、Winogrande 和 TruthfulQA 上進行了評估。評估使用 Neural Magic 分叉的 lm-evaluation-harness(分支 llama_3.1_instruct)和 vLLM 引擎進行。此版本的 lm-evaluation-harness 包含與 Meta-Llama-3.1-Instruct-evals 提示風格匹配的 ARC-Challenge、GSM-8K、MMLU 和 MMLU-cot 版本。
準確率
基準測試 | Meta-Llama-3.1-70B-Instruct | Meta-Llama-3.1-70B-Instruct-FP8(本模型) | 恢復率 |
---|---|---|---|
MMLU (5-shot) | 83.83 | 83.73 | 99.88% |
MMLU-cot (0-shot) | 86.01 | 85.44 | 99.34% |
ARC Challenge (0-shot) | 93.26 | 92.92 | 99.64% |
GSM-8K-cot (8-shot, strict-match) | 94.92 | 94.54 | 99.60% |
Hellaswag (10-shot) | 86.75 | 86.64 | 99.87% |
Winogrande (5-shot) | 85.32 | 85.95 | 100.7% |
TruthfulQA (0-shot, mc2) | 60.68 | 60.84 | 100.2% |
平均 | 84.40 | 84.29 | 99.88% |
復現結果
使用以下命令可復現評估結果:
MMLU
lm_eval \
--model vllm \
--model_args pretrained="neuralmagic/Meta-Llama-3.1-70B-Instruct-FP8",dtype=auto,add_bos_token=True,max_model_len=4096,tensor_parallel_size=2 \
--tasks mmlu \
--num_fewshot 5 \
--batch_size auto
MMLU-cot
lm_eval \
--model vllm \
--model_args pretrained="neuralmagic/Meta-Llama-3.1-70B-Instruct-FP8",dtype=auto,add_bos_token=True,max_model_len=4096,tensor_parallel_size=2 \
--tasks mmlu_cot_0shot_llama_3.1_instruct \
--apply_chat_template \
--num_fewshot 0 \
--batch_size auto
ARC-Challenge
lm_eval \
--model vllm \
--model_args pretrained="neuralmagic/Meta-Llama-3.1-70B-Instruct-FP8",dtype=auto,add_bos_token=True,max_model_len=4096,tensor_parallel_size=2 \
--tasks arc_challenge_llama_3.1_instruct \
--apply_chat_template \
--num_fewshot 0 \
--batch_size auto
GSM-8K
lm_eval \
--model vllm \
--model_args pretrained="neuralmagic/Meta-Llama-3.1-70B-Instruct-FP8",dtype=auto,add_bos_token=True,max_model_len=4096,tensor_parallel_size=2 \
--tasks gsm8k_cot_llama_3.1_instruct \
--apply_chat_template \
--fewshot_as_multiturn \
--num_fewshot 8 \
--batch_size auto
Hellaswag
lm_eval \
--model vllm \
--model_args pretrained="neuralmagic/Meta-Llama-3.1-70B-Instruct-FP8",dtype=auto,add_bos_token=True,max_model_len=4096,tensor_parallel_size=2 \
--tasks hellaswag \
--num_fewshot 10 \
--batch_size auto
Winogrande
lm_eval \
--model vllm \
--model_args pretrained="neuralmagic/Meta-Llama-3.1-70B-Instruct-FP8",dtype=auto,add_bos_token=True,max_model_len=4096,tensor_parallel_size=2 \
--tasks winogrande \
--num_fewshot 5 \
--batch_size auto
TruthfulQA
lm_eval \
--model vllm \
--model_args pretrained="neuralmagic/Meta-Llama-3.1-70B-Instruct-FP8",dtype=auto,add_bos_token=True,max_model_len=4096,tensor_parallel_size=2 \
--tasks truthfulqa_mc \
--num_fewshot 0 \
--batch_size auto
🔧 技術細節
文檔未提供足夠詳細的技術實現細節,暫不展示。
📄 許可證
本模型使用 llama3.1 許可證。



