Gpt4 X Alpaca 13b Native 4bit 128g

🚀 モデル更新情報

このプロジェクトは、GPTQを用いたモデルの4bit量子化に関する情報を提供しています。モデルの生成や使用方法に関する最新情報を以下にまとめます。

✨ 主な機能

• 2種類のモデル（TritonブランチとCudaで生成）を提供
• Cudaモデルにggmlを追加

📦 インストール

Cudaモデルの使用コマンド

CUDA_VISIBLE_DEVICES=0 python llama.py ./models/chavinlo-gpt4-x-alpaca --wbits 4 --true-sequential --groupsize 128 --save gpt-x-alpaca-13b-native-4bit-128g-cuda.pt

以前の情報

• GPTQ-for-LLaMaのコミット 5955e9c67d9bfe8a8144ffbe853c2769f1e87cdd で量子化
• モデルの元データ: https://huggingface.co/chavinlo/gpt4-x-alpaca
• 量子化に使用したGPTQ-for-LLaMAのブランチ: https://github.com/qwopqwop200/GPTQ-for-LLaMa/tree/triton
• 現時点ではOobaboogaと互換性がない可能性があります。

以前の使用コマンド

CUDA_VISIBLE_DEVICES=0 python llama.py ./models/chavinlo-gpt4-x-alpaca --wbits 4 --true-sequential --act-order --groupsize 128 --save gpt-x-alpaca-13b-native-4bit-128g.pt

📚 データセット

データセットはこちらにあります（instruct）: https://github.com/teknium1/GPTeacher

⚠️ 注意事項

現時点では、Tritonブランチが広く使われるまでは、Cudaモデルを使用することをおすすめします。また、このモデルはOobaboogaと互換性がない可能性があります。最新情報には随時ご留意ください。