モデル概要
モデル特徴
モデル能力
使用事例
🚀 Meta-Llama-3.1-70B-Instruct-FP8
このモデルは、Meta-Llama-3.1-70B-InstructをFP8で量子化したものです。多言語での商用および研究用途に適しており、アシスタントのようなチャットに使用できます。
🚀 クイックスタート
このモデルは、vLLM バックエンドを使用して効率的にデプロイできます。以下に例を示します。
from vllm import LLM, SamplingParams
from transformers import AutoTokenizer
model_id = "neuralmagic/Meta-Llama-3.1-70B-Instruct-FP8"
number_gpus = 2
sampling_params = SamplingParams(temperature=0.6, top_p=0.9, max_tokens=256)
tokenizer = AutoTokenizer.from_pretrained(model_id)
messages = [
{"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
{"role": "user", "content": "Who are you?"},
]
prompts = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)
llm = LLM(model=model_id, tensor_parallel_size=number_gpus)
outputs = llm.generate(prompts, sampling_params)
generated_text = outputs[0].outputs[0].text
print(generated_text)
vLLMは、OpenAI互換のサービングもサポートしています。詳細は ドキュメント を参照してください。
✨ 主な機能
モデル概要
- モデルアーキテクチャ: Meta-Llama-3.1
- 入力: テキスト
- 出力: テキスト
- モデル最適化:
- 重み量子化: FP8
- 活性化量子化: FP8
- 想定使用ケース: 複数言語での商用および研究用途を想定。Meta-Llama-3.1-8B-Instruct と同様に、アシスタントのようなチャットに使用されます。
- 想定外の使用: 適用される法律や規制(貿易コンプライアンス法を含む)に違反する方法での使用。英語以外の言語での使用。
- リリース日: 2024年7月23日
- バージョン: 1.0
- ライセンス: llama3.1
- モデル開発者: Neural Magic
このモデルは、Meta-Llama-3.1-70B-Instruct を量子化したバージョンです。OpenLLM ベンチマーク(バージョン1)で平均84.29点を達成しており、量子化されていないモデルは84.40点を達成しています。
モデル最適化
このモデルは、Meta-Llama-3.1-70B-Instruct の重みと活性化をFP8データ型に量子化することで得られました。この最適化により、パラメータあたりのビット数が16から8に減少し、ディスクサイズとGPUメモリ要件が約50%削減されます。
トランスフォーマーブロック内の線形演算子の重みと活性化のみが量子化されます。対称的なパーテンソル量子化が適用され、単一の線形スケーリングが量子化された重みと活性化のFP8表現をマッピングします。量子化には LLM Compressor が512シーケンスのUltraChatで使用されました。
📦 インストール
このモデルを使用するには、必要なライブラリをインストールする必要があります。以下のコマンドを使用してインストールできます。
pip install vllm transformers datasets
💻 使用例
基本的な使用法
from vllm import LLM, SamplingParams
from transformers import AutoTokenizer
model_id = "neuralmagic/Meta-Llama-3.1-70B-Instruct-FP8"
number_gpus = 2
sampling_params = SamplingParams(temperature=0.6, top_p=0.9, max_tokens=256)
tokenizer = AutoTokenizer.from_pretrained(model_id)
messages = [
{"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
{"role": "user", "content": "Who are you?"},
]
prompts = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)
llm = LLM(model=model_id, tensor_parallel_size=number_gpus)
outputs = llm.generate(prompts, sampling_params)
generated_text = outputs[0].outputs[0].text
print(generated_text)
高度な使用法
import torch
from datasets import load_dataset
from transformers import AutoTokenizer
from llmcompressor.transformers import SparseAutoModelForCausalLM, oneshot
from llmcompressor.transformers.compression.helpers import (
calculate_offload_device_map,
custom_offload_device_map,
)
recipe = """
quant_stage:
quant_modifiers:
QuantizationModifier:
ignore: ["lm_head"]
config_groups:
group_0:
weights:
num_bits: 8
type: float
strategy: tensor
dynamic: false
symmetric: true
input_activations:
num_bits: 8
type: float
strategy: tensor
dynamic: false
symmetric: true
targets: ["Linear"]
"""
model_stub = "meta-llama/Meta-Llama-3.1-70B-Instruct"
model_name = model_stub.split("/")[-1]
device_map = calculate_offload_device_map(
model_stub, reserve_for_hessians=False, num_gpus=2, torch_dtype="auto"
)
model = SparseAutoModelForCausalLM.from_pretrained(
model_stub, torch_dtype="auto", device_map=device_map
)
tokenizer = AutoTokenizer.from_pretrained(model_stub)
output_dir = f"./{model_name}-FP8"
DATASET_ID = "HuggingFaceH4/ultrachat_200k"
DATASET_SPLIT = "train_sft"
NUM_CALIBRATION_SAMPLES = 512
MAX_SEQUENCE_LENGTH = 4096
ds = load_dataset(DATASET_ID, split=DATASET_SPLIT)
ds = ds.shuffle(seed=42).select(range(NUM_CALIBRATION_SAMPLES))
def preprocess(example):
return {
"text": tokenizer.apply_chat_template(
example["messages"],
tokenize=False,
)
}
ds = ds.map(preprocess)
def tokenize(sample):
return tokenizer(
sample["text"],
padding=False,
max_length=MAX_SEQUENCE_LENGTH,
truncation=True,
add_special_tokens=False,
)
ds = ds.map(tokenize, remove_columns=ds.column_names)
oneshot(
model=model,
output_dir=output_dir,
dataset=ds,
recipe=recipe,
max_seq_length=MAX_SEQUENCE_LENGTH,
num_calibration_samples=NUM_CALIBRATION_SAMPLES,
save_compressed=True,
)
📚 ドキュメント
評価
このモデルは、MMLU、ARC-Challenge、GSM-8K、Hellaswag、Winogrande、TruthfulQAで評価されました。評価は、Neural Magicのフォークした lm-evaluation-harness(llama_3.1_instructブランチ)と vLLM エンジンを使用して行われました。このバージョンのlm-evaluation-harnessには、Meta-Llama-3.1-Instruct-evals のプロンプトスタイルに一致するARC-Challenge、GSM-8K、MMLU、MMLU-cotのバージョンが含まれています。
精度
Open LLM Leaderboard評価スコア
ベンチマーク | Meta-Llama-3.1-70B-Instruct | Meta-Llama-3.1-70B-Instruct-FP8(このモデル) | 回復率 |
---|---|---|---|
MMLU (5-shot) | 83.83 | 83.73 | 99.88% |
MMLU-cot (0-shot) | 86.01 | 85.44 | 99.34% |
ARC Challenge (0-shot) | 93.26 | 92.92 | 99.64% |
GSM-8K-cot (8-shot, strict-match) | 94.92 | 94.54 | 99.60% |
Hellaswag (10-shot) | 86.75 | 86.64 | 99.87% |
Winogrande (5-shot) | 85.32 | 85.95 | 100.7% |
TruthfulQA (0-shot, mc2) | 60.68 | 60.84 | 100.2% |
平均 | 84.40 | 84.29 | 99.88% |
再現性
結果は以下のコマンドを使用して得られました。
MMLU
lm_eval \
--model vllm \
--model_args pretrained="neuralmagic/Meta-Llama-3.1-70B-Instruct-FP8",dtype=auto,add_bos_token=True,max_model_len=4096,tensor_parallel_size=2 \
--tasks mmlu \
--num_fewshot 5 \
--batch_size auto
MMLU-cot
lm_eval \
--model vllm \
--model_args pretrained="neuralmagic/Meta-Llama-3.1-70B-Instruct-FP8",dtype=auto,add_bos_token=True,max_model_len=4096,tensor_parallel_size=2 \
--tasks mmlu_cot_0shot_llama_3.1_instruct \
--apply_chat_template \
--num_fewshot 0 \
--batch_size auto
ARC-Challenge
lm_eval \
--model vllm \
--model_args pretrained="neuralmagic/Meta-Llama-3.1-70B-Instruct-FP8",dtype=auto,add_bos_token=True,max_model_len=4096,tensor_parallel_size=2 \
--tasks arc_challenge_llama_3.1_instruct \
--apply_chat_template \
--num_fewshot 0 \
--batch_size auto
GSM-8K
lm_eval \
--model vllm \
--model_args pretrained="neuralmagic/Meta-Llama-3.1-70B-Instruct-FP8",dtype=auto,add_bos_token=True,max_model_len=4096,tensor_parallel_size=2 \
--tasks gsm8k_cot_llama_3.1_instruct \
--apply_chat_template \
--fewshot_as_multiturn \
--num_fewshot 8 \
--batch_size auto
Hellaswag
lm_eval \
--model vllm \
--model_args pretrained="neuralmagic/Meta-Llama-3.1-70B-Instruct-FP8",dtype=auto,add_bos_token=True,max_model_len=4096,tensor_parallel_size=2 \
--tasks hellaswag \
--num_fewshot 10 \
--batch_size auto
Winogrande
lm_eval \
--model vllm \
--model_args pretrained="neuralmagic/Meta-Llama-3.1-70B-Instruct-FP8",dtype=auto,add_bos_token=True,max_model_len=4096,tensor_parallel_size=2 \
--tasks winogrande \
--num_fewshot 5 \
--batch_size auto
TruthfulQA
lm_eval \
--model vllm \
--model_args pretrained="neuralmagic/Meta-Llama-3.1-70B-Instruct-FP8",dtype=auto,add_bos_token=True,max_model_len=4096,tensor_parallel_size=2 \
--tasks truthfulqa_mc \
--num_fewshot 0 \
--batch_size auto
📄 ライセンス
このモデルは llama3.1 ライセンスの下で提供されています。



