Gpt4 X Alpaca 13b Native 4bit 128g

🚀 模型項目

本項目主要圍繞特定模型的量化及使用展開，提供了不同環境下的模型生成與使用信息，同時給出了相應的運行命令。

🚀 快速開始

模型選擇

目前有兩個不同的模型，一個在Triton分支生成，另一個在Cuda環境生成。除非Triton分支被廣泛使用，否則建議暫時使用Cuda環境生成的模型。

數據集

指令數據集可在以下鏈接獲取：https://github.com/teknium1/GPTeacher

📦 安裝指南

暫未提供相關安裝步驟。

💻 使用示例

基礎用法

Cuda模型使用命令

CUDA_VISIBLE_DEVICES=0 python llama.py ./models/chavinlo-gpt4-x-alpaca --wbits 4 --true-sequential --groupsize 128 --save gpt-x-alpaca-13b-native-4bit-128g-cuda.pt

之前版本信息及命令

該模型在GPTQ - for - LLaMa提交版本5955e9c67d9bfe8a8144ffbe853c2769f1e87cdd上進行量化。 量化的基礎模型為：https://huggingface.co/chavinlo/gpt4-x-alpaca

注意：此模型使用的是GPTQ - for - LLaMA的這個分支進行量化：https://github.com/qwopqwop200/GPTQ-for-LLaMa/tree/triton，目前似乎與Oobabooga不兼容。

命令如下：

CUDA_VISIBLE_DEVICES=0 python llama.py ./models/chavinlo-gpt4-x-alpaca --wbits 4 --true-sequential --act-order --groupsize 128 --save gpt-x-alpaca-13b-native-4bit-128g.pt

🔧 技術細節

模型進行了GPTQ 4bit量化，不同環境下生成的模型在使用上可能存在差異，且由於使用了特定分支的GPTQ - for - LLaMa進行量化，導致與Oobabooga不兼容。後續可能會有進一步的改進和適配。