Meta Llama 3.1 8B Instruct AWQ INT4

🚀 Meta Llama 3.1-8B-Instruct AWQ量化模型

本項目是對原始模型meta-llama/Meta-Llama-3.1-8B-Instruct的社區驅動量化版本，該原始模型是Meta AI發佈的BF16半精度官方版本。Meta Llama 3.1系列多語言大語言模型在多語言對話用例中表現出色，此量化版本進一步優化了模型的使用效率。

🚀 快速開始

重要提示

本倉庫是原始模型meta-llama/Meta-Llama-3.1-8B-Instruct的社區驅動量化版本，該原始模型是Meta AI發佈的BF16半精度官方版本。

📚 詳細文檔

模型信息

Meta Llama 3.1系列多語言大語言模型（LLMs）是一系列預訓練和指令微調的生成模型，有8B、70B和405B三種規模（文本輸入/文本輸出）。Llama 3.1指令微調的純文本模型（8B、70B、405B）針對多語言對話用例進行了優化，在常見的行業基準測試中，其性能優於許多現有的開源和閉源聊天模型。

本倉庫包含使用AutoAWQ將meta-llama/Meta-Llama-3.1-8B-Instruct從FP16量化到INT4的模型，使用GEMM內核進行零點量化，分組大小為128。

模型使用

⚠️ 重要提示

要使用INT4量化的Llama 3.1 8B Instruct AWQ模型進行推理，僅加載模型檢查點就需要約4 GiB的VRAM，不包括KV緩存或CUDA圖，這意味著可用的VRAM應略多於這個數值。

可以使用不同的解決方案來使用當前的量化模型，如transformers、autoawq或text-generation-inference。

🤗 Transformers

要使用INT4量化的Llama 3.1 8B Instruct AWQ模型進行推理，需要安裝以下包：

pip install -q --upgrade transformers autoawq accelerate

要在INT4精度下對Llama 3.1 8B Instruct AWQ模型進行推理，可以通過AutoModelForCausalLM像實例化其他因果語言模型一樣實例化AWQ模型，並正常進行推理。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, AwqConfig

model_id = "hugging-quants/Meta-Llama-3.1-8B-Instruct-AWQ-INT4"

quantization_config = AwqConfig(
    bits=4,
    fuse_max_seq_len=512, # 注意：根據使用情況更新此值
    do_fuse=True,
)

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
  model_id,
  torch_dtype=torch.float16,
  low_cpu_mem_usage=True,
  device_map="auto",
  quantization_config=quantization_config
)

prompt = [
  {"role": "system", "content": "You are a helpful assistant, that responds as a pirate."},
  {"role": "user", "content": "What's Deep Learning?"},
]
inputs = tokenizer.apply_chat_template(
  prompt,
  tokenize=True,
  add_generation_prompt=True,
  return_tensors="pt",
  return_dict=True,
).to("cuda")

outputs = model.generate(**inputs, do_sample=True, max_new_tokens=256)
print(tokenizer.batch_decode(outputs[:, inputs['input_ids'].shape[1]:], skip_special_tokens=True)[0])

AutoAWQ

要使用INT4量化的Llama 3.1 8B Instruct AWQ模型進行推理，需要安裝以下包：

pip install -q --upgrade transformers autoawq accelerate

也可以通過AutoAWQ運行推理，儘管它是基於🤗 transformers構建的，但如上文所述，這是推薦的方法。

import torch
from awq import AutoAWQForCausalLM
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "hugging-quants/Meta-Llama-3.1-8B-Instruct-AWQ-INT4"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoAWQForCausalLM.from_pretrained(
  model_id,
  torch_dtype=torch.float16,
  low_cpu_mem_usage=True,
  device_map="auto",
)

prompt = [
  {"role": "system", "content": "You are a helpful assistant, that responds as a pirate."},
  {"role": "user", "content": "What's Deep Learning?"},
]
inputs = tokenizer.apply_chat_template(
  prompt,
  tokenize=True,
  add_generation_prompt=True,
  return_tensors="pt",
  return_dict=True,
).to("cuda")

outputs = model.generate(**inputs, do_sample=True, max_new_tokens=256)
print(tokenizer.batch_decode(outputs[:, inputs['input_ids'].shape[1]:], skip_special_tokens=True)[0])

AutoAWQ腳本改編自AutoAWQ/examples/generate.py。

🤗 Text Generation Inference (TGI)

要使用INT4量化的Llama 3.1 8B Instruct AWQ模型和Marlin內核運行text-generation-launcher以獲得優化的推理速度，需要安裝Docker（見安裝說明）和huggingface_hub Python包，因為需要登錄Hugging Face Hub。

pip install -q --upgrade huggingface_hub
huggingface-cli login

然後只需按以下方式運行TGI v2.2.0（或更高版本）的Docker容器：

docker run --gpus all --shm-size 1g -ti -p 8080:80 \
  -v hf_cache:/data \
  -e MODEL_ID=hugging-quants/Meta-Llama-3.1-8B-Instruct-AWQ-INT4 \
  -e QUANTIZE=awq \
  -e HF_TOKEN=$(cat ~/.cache/huggingface/token) \
  -e MAX_INPUT_LENGTH=4000 \
  -e MAX_TOTAL_TOKENS=4096 \
  ghcr.io/huggingface/text-generation-inference:2.2.0

⚠️ 重要提示

TGI將暴露不同的端點，要查看所有可用的端點，請查看TGI OpenAPI規範。

要向與OpenAI OpenAPI規範兼容的已部署TGI端點（即/v1/chat/completions）發送請求：

curl 0.0.0.0:8080/v1/chat/completions \
  -X POST \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "tgi",
    "messages": [
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "What is Deep Learning?"
      }
    ],
    "max_tokens": 128
  }'

或者通過huggingface_hub Python客戶端以編程方式發送請求：

import os
from huggingface_hub import InferenceClient

client = InferenceClient(base_url="http://0.0.0.0:8080", api_key=os.getenv("HF_TOKEN", "-"))

chat_completion = client.chat.completions.create(
  model="hugging-quants/Meta-Llama-3.1-8B-Instruct-AWQ-INT4",
  messages=[
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "What is Deep Learning?"},
  ],
  max_tokens=128,
)

此外，也可以使用OpenAI Python客戶端（見安裝說明）：

import os
from openai import OpenAI

client = OpenAI(base_url="http://0.0.0.0:8080/v1", api_key=os.getenv("OPENAI_API_KEY", "-"))

chat_completion = client.chat.completions.create(
  model="tgi",
  messages=[
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "What is Deep Learning?"},
  ],
  max_tokens=128,
)

vLLM

要使用INT4量化的Llama 3.1 8B Instruct AWQ模型運行vLLM，需要安裝Docker（見安裝說明），並按以下方式運行最新的vLLM Docker容器：

docker run --runtime nvidia --gpus all --ipc=host -p 8000:8000 \
  -v hf_cache:/root/.cache/huggingface \
  vllm/vllm-openai:latest \
  --model hugging-quants/Meta-Llama-3.1-8B-Instruct-AWQ-INT4 \
  --max-model-len 4096

要向與OpenAI OpenAPI規範兼容的已部署vLLM端點（即/v1/chat/completions）發送請求：

curl 0.0.0.0:8000/v1/chat/completions \
  -X POST \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "hugging-quants/Meta-Llama-3.1-8B-Instruct-AWQ-INT4",
    "messages": [
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "What is Deep Learning?"
      }
    ],
    "max_tokens": 128
  }'

或者通過openai Python客戶端以編程方式發送請求（見安裝說明）：

import os
from openai import OpenAI

client = OpenAI(base_url="http://0.0.0.0:8000/v1", api_key=os.getenv("VLLM_API_KEY", "-"))

chat_completion = client.chat.completions.create(
  model="hugging-quants/Meta-Llama-3.1-8B-Instruct-AWQ-INT4",
  messages=[
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "What is Deep Learning?"},
  ],
  max_tokens=128,
)

量化復現

⚠️ 重要提示

要使用AutoAWQ對Llama 3.1 8B Instruct進行量化，需要使用一個至少有足夠CPU RAM來容納整個模型（約8GiB）的實例，以及一個具有16GiB VRAM的NVIDIA GPU來進行量化。

要對Llama 3.1 8B Instruct進行量化，首先安裝以下包：

pip install -q --upgrade transformers autoawq accelerate

然後運行以下腳本，該腳本改編自AutoAWQ/examples/quantize.py：

from awq import AutoAWQForCausalLM
from transformers import AutoTokenizer

model_path = "meta-llama/Meta-Llama-3.1-8B-Instruct"
quant_path = "hugging-quants/Meta-Llama-3.1-8B-Instruct-AWQ-INT4"
quant_config = {
  "zero_point": True,
  "q_group_size": 128,
  "w_bit": 4,
  "version": "GEMM",
}

# 加載模型
model = AutoAWQForCausalLM.from_pretrained(
  model_path, low_cpu_mem_usage=True, use_cache=False,
)
tokenizer = AutoTokenizer.from_pretrained(model_path)

# 量化
model.quantize(tokenizer, quant_config=quant_config)

# 保存量化模型
model.save_quantized(quant_path)
tokenizer.save_pretrained(quant_path)

print(f'模型已量化並保存到 "{quant_path}"')

📄 許可證

本模型使用的許可證為llama3.1。

模型相關信息