Cogito 14b Gptq Q4

🚀 Transformers庫量化項目

本項目基於transformers庫，對Qwen/Qwen2.5-14B基礎模型進行量化操作，以實現文本生成任務。通過特定的代碼和校準數據集，完成模型的量化處理。

🚀 快速開始

量化代碼示例

以下是使用GPTQModel 4.0.0 dev進行模型量化的代碼：

from datasets import load_dataset, concatenate_datasets
from gptqmodel import GPTQModel, QuantizeConfig
from random import shuffle, seed

seed(0)

# 1. grab 512 English + 512 Spanish documents
en_ds = load_dataset("allenai/c4", data_files="en/c4-train.00001-of-01024.json.gz", split="train") \
          .shuffle(seed=0).select(range(512))
es_ds = load_dataset("allenai/c4", data_files="multilingual/c4-es.tfrecord-00001-of-02048.json.gz", split="train") \
          .shuffle(seed=0).select(range(512))

calib_texts = [x["text"] for x in concatenate_datasets([en_ds, es_ds])]
shuffle(calib_texts)

# 2. quantise
model_id  = "deepcogito/cogito-v1-preview-qwen-14B"
quant_dir = "cogito-14b-gptq-q4"

qconf = QuantizeConfig(bits=4, group_size=128)
model = GPTQModel.load(model_id, qconf)

# model.quantize(calib_texts, batch_size=2)
model.quantize(calib_texts, batch_size=1)
model.save(quant_dir)

校準數據集說明

對於校準數據集，考慮到主要任務涉及西班牙語和英語，因此採用了50%西班牙語和50%英語的文本數據。

版本選擇說明

⚠️ 重要提示

嘗試使用v2版本時，與v1版本相比損失明顯更高，因此選擇繼續使用v1版本。

📄 許可證

本項目採用Apache-2.0許可證。