Cogito 14b Gptq Q4

🚀 トランスフォーマー

このライブラリはテキスト生成に特化したもので、Qwen/Qwen2.5-14Bをベースモデルとしています。

📦 インストール

原文書にインストール手順は記載されていません。

💻 使用例

基本的な使用法

# コードとコメントはそのまま保持
from datasets import load_dataset, concatenate_datasets
from gptqmodel import GPTQModel, QuantizeConfig
from random import shuffle, seed

seed(0)

# 1. grab 512 English + 512 Spanish documents
en_ds = load_dataset("allenai/c4", data_files="en/c4-train.00001-of-01024.json.gz", split="train") \
          .shuffle(seed=0).select(range(512))
es_ds = load_dataset("allenai/c4", data_files="multilingual/c4-es.tfrecord-00001-of-02048.json.gz", split="train") \
          .shuffle(seed=0).select(range(512))

calib_texts = [x["text"] for x in concatenate_datasets([en_ds, es_ds])]
shuffle(calib_texts)

# 2. quantise
model_id  = "deepcogito/cogito-v1-preview-qwen-14B"
quant_dir = "cogito-14b-gptq-q4"

qconf = QuantizeConfig(bits=4, group_size=128)
model = GPTQModel.load(model_id, qconf)

# model.quantize(calib_texts, batch_size=2)
model.quantize(calib_texts, batch_size=1)
model.save(quant_dir)

高度な使用法

原文書に高度な使用法に関する具体的な説明はありません。

📚 ドキュメント

キャリブレーションデータセットには、主に使用する2つの言語であるスペイン語と英語をそれぞれ50%ずつ含めました。

⚠️ 重要提示

v2を試しましたが、v1と比較して損失が大幅に高くなったため、v1を使い続けることにしました。

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。