Llama 2 7b Int4 GPTQ Python Code 20k

🚀 Llama 2 7b 4-bit GPTQ Python Coder 👩‍💻

このモデルは、私のLlama 2 7B 4-bit Python CoderのGPTQ量子化モデルです。ベースモデルのリンクはこちらです。

GPTQアルゴリズムの量子化パラメータは以下の通りです。

• 4ビット量子化
• グループサイズは128
• データセットC4
• 減少する活性化はFalse

✨ 主な機能

モデルの説明

Llama 2 7B 4-bit Python Coderは、PEFTライブラリとbitsandbytesを使用して4ビットでQLoRaを用いて微調整されたLlama 2 7Bモデルのバージョンです。

量子化

MediumのBenjamin Marieによる素晴らしい記事 "GPTQ or bitsandbytes: Which Quantization Method to Use for LLMs — Examples with Llama 2"（Mediumの加入者限定）から抜粋した簡単な定義です。

"GPTQ (Frantar et al., 2023)は、最初にデプロイ準備ができたモデルに適用されました。言い換えると、モデルが完全に微調整された後、GPTQが適用されてそのサイズが縮小されます。GPTQは重みの精度を4ビットまたは3ビットに下げることができます。 実際には、GPTQは主に4ビット量子化に使用されます。3ビットは非常に不安定であることが示されています (Dettmers and Zettlemoyer, 2023)。GPTQは、モデル全体をメモリにロードせずに量子化します。代わりに、GPTQはLLMモジュールを1つずつロードして量子化します。 量子化には、校正用の小さなデータサンプルも必要で、消費者向けGPUでは1時間以上かかる場合があります。"

💻 使用例

基本的な使用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "edumunozsala/llama-2-7b-int4-GPTQ-python-code-20k"

tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.float16, device_map="auto")

instruction="Write a Python function to display the first and last elements of a list."
input=""

prompt = f"""### Instruction:
Use the Task below and the Input given to write the Response, which is a programming code that can solve the Task.

### Task:
{instruction}

### Input:
{input}

### Response:
"""

input_ids = tokenizer(prompt, return_tensors="pt", truncation=True).input_ids.cuda()
# with torch.inference_mode():
outputs = model.generate(input_ids=input_ids, max_new_tokens=128, do_sample=True, top_p=0.9,temperature=0.3)

print(f"Prompt:\n{prompt}\n")
print(f"Generated instruction:\n{tokenizer.batch_decode(outputs.detach().cpu().numpy(), skip_special_tokens=True)[0][len(prompt):]}")

引用

@misc {edumunozsala_2023,
	author       = { {Eduardo Muñoz} },
	title        = { llama-2-7b-int4-GPTQ-python-coder },
	year         = 2023,
	url          = { https://huggingface.co/edumunozsala/llama-2-7b-int4-GPTQ-python-code-20k },
	publisher    = { Hugging Face }
}

📄 ライセンス

このモデルはGPL-3.0ライセンスの下で提供されています。