Llava 13b V0 4bit 128g

🚀 Llava中Llama部分的4位量化

本項目對Llava中Llama部分進行4位量化，相關鏈接如下：

• Llava項目地址：https://github.com/haotian-liu/LLaVA
• Llava模型地址：https://huggingface.co/liuhaotian/LLaVA-13b-delta-v0

🚀 快速開始

量化命令

使用以下命令進行量化：

CUDA_VISIBLE_DEVICES=0 python llama.py /workspace/LLaVA-13B-v0/ c4 --wbits 4 --true-sequential --groupsize 128 --save_safetensors llava-13b-v0-4bit-128g.safetensors

此命令基於 GPTQ for LLaMa 的CUDA分支（提交版本 57a2629）運行。

運行方法

量化完成後，你可以在 TEXT-GENERATION-WEBUI 中使用 llava 擴展來運行它，具體可參考：https://github.com/oobabooga/text-generation-webui/tree/main/extensions/llava

📄 許可證

本項目採用其他許可證。