Llava Llama 3 8b V1 1 Gguf

🚀 llava-llama-3-8b-v1_1模型介紹

llava-llama-3-8b-v1_1 是一個圖像到文本的模型，它基於特定的預訓練模型和數據集進行微調，在多個評估基準上展現出了優秀的性能。該模型在圖像描述等任務中具有較高的準確性和實用性。

🚀 快速開始

下載模型

# mmproj
wget https://huggingface.co/xtuner/llava-llama-3-8b-v1_1-gguf/resolve/main/llava-llama-3-8b-v1_1-mmproj-f16.gguf

# fp16 llm
wget https://huggingface.co/xtuner/llava-llama-3-8b-v1_1-gguf/resolve/main/llava-llama-3-8b-v1_1-f16.gguf

# int4 llm
wget https://huggingface.co/xtuner/llava-llama-3-8b-v1_1-gguf/resolve/main/llava-llama-3-8b-v1_1-int4.gguf

# (可選) ollama fp16 模型文件
wget https://huggingface.co/xtuner/llava-llama-3-8b-v1_1-gguf/resolve/main/OLLAMA_MODELFILE_F16

# (可選) ollama int4 模型文件
wget https://huggingface.co/xtuner/llava-llama-3-8b-v1_1-gguf/resolve/main/OLLAMA_MODELFILE_INT4

使用 ollama 進行對話

# fp16
ollama create llava-llama3-f16 -f ./OLLAMA_MODELFILE_F16
ollama run llava-llama3-f16 "xx.png Describe this image"

# int4
ollama create llava-llama3-int4 -f ./OLLAMA_MODELFILE_INT4
ollama run llava-llama3-int4 "xx.png Describe this image"

使用 llama.cpp 進行對話

1. 編譯 llama.cpp (文檔)。
2. 編譯 ./llava-cli (文檔)。

注意：llava-llama-3-8b-v1_1 使用 Llama-3-instruct 對話模板。

# fp16
./llava-cli -m ./llava-llama-3-8b-v1_1-f16.gguf --mmproj ./llava-llama-3-8b-v1_1-mmproj-f16.gguf --image YOUR_IMAGE.jpg -c 4096 -e -p "<|start_header_id|>user<|end_header_id|>\n\n<image>\nDescribe this image<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n"

# int4
./llava-cli -m ./llava-llama-3-8b-v1_1-int4.gguf --mmproj ./llava-llama-3-8b-v1_1-mmproj-f16.gguf --image YOUR_IMAGE.jpg -c 4096 -e -p "<|start_header_id|>user<|end_header_id|>\n\n<image>\nDescribe this image<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n"

復現實驗

請參考 文檔。

✨ 主要特性

• 多數據集微調：基於 ShareGPT4V-PT 和 InternVL-SFT 數據集進行微調，提升模型性能。
• 多格式支持：提供 GGUF 格式模型，同時有不同精度（fp16、int4）的模型可供選擇。
• 多工具適配：支持使用 ollama 和 llama.cpp 進行對話。

📚 詳細文檔

模型信息

llava-llama-3-8b-v1_1 是一個基於 meta-llama/Meta-Llama-3-8B-Instruct 和 CLIP-ViT-Large-patch14-336 進行微調的 LLaVA 模型，由 XTuner 完成微調。

注意：該模型為 GGUF 格式。

資源鏈接

• GitHub: xtuner
• HuggingFace LLaVA 格式模型: xtuner/llava-llama-3-8b-v1_1-transformers
• 官方 LLaVA 格式模型: xtuner/llava-llama-3-8b-v1_1-hf
• XTuner LLaVA 格式模型: xtuner/llava-llama-3-8b-v1_1

模型細節

實驗結果

📄 許可證

文檔中未提及相關許可證信息。

📖 引用

@misc{2023xtuner,
    title={XTuner: A Toolkit for Efficiently Fine-tuning LLM},
    author={XTuner Contributors},
    howpublished = {\url{https://github.com/InternLM/xtuner}},
    year={2023}
}