Llava 13b V0 4bit 128g

🚀 LlavaのLlama部分の4ビット量子化

このプロジェクトは、LLaVAのLlama部分を4ビット量子化します。LLaVAの公式リポジトリはこちら、LLaVA-13b-delta-v0のHugging Faceモデルはこちらです。

🚀 クイックスタート

量子化の実行

以下のコマンドを使用して量子化を行います。このコマンドは、https://github.com/oobabooga/GPTQ-for-LLaMa のCUDAブランチ（コミット 57a2629）で実行されます。

CUDA_VISIBLE_DEVICES=0 python llama.py /workspace/LLaVA-13B-v0/ c4 --wbits 4 --true-sequential --groupsize 128 --save_safetensors llava-13b-v0-4bit-128g.safetensors

実行方法

生成された量子化モデルは、TEXT-GENERATION-WEBUI で llava 拡張機能を使用して実行できます。詳細はこちらを参照してください。

📄 ライセンス

ライセンスは other です。