Llava Llama 3 8b V1 1 Gguf

🚀 llava-llama-3-8b-v1_1模型介绍

llava-llama-3-8b-v1_1 是一个图像到文本的模型，它基于特定的预训练模型和数据集进行微调，在多个评估基准上展现出了优秀的性能。该模型在图像描述等任务中具有较高的准确性和实用性。

🚀 快速开始

下载模型

# mmproj
wget https://huggingface.co/xtuner/llava-llama-3-8b-v1_1-gguf/resolve/main/llava-llama-3-8b-v1_1-mmproj-f16.gguf

# fp16 llm
wget https://huggingface.co/xtuner/llava-llama-3-8b-v1_1-gguf/resolve/main/llava-llama-3-8b-v1_1-f16.gguf

# int4 llm
wget https://huggingface.co/xtuner/llava-llama-3-8b-v1_1-gguf/resolve/main/llava-llama-3-8b-v1_1-int4.gguf

# (可选) ollama fp16 模型文件
wget https://huggingface.co/xtuner/llava-llama-3-8b-v1_1-gguf/resolve/main/OLLAMA_MODELFILE_F16

# (可选) ollama int4 模型文件
wget https://huggingface.co/xtuner/llava-llama-3-8b-v1_1-gguf/resolve/main/OLLAMA_MODELFILE_INT4

使用 ollama 进行对话

# fp16
ollama create llava-llama3-f16 -f ./OLLAMA_MODELFILE_F16
ollama run llava-llama3-f16 "xx.png Describe this image"

# int4
ollama create llava-llama3-int4 -f ./OLLAMA_MODELFILE_INT4
ollama run llava-llama3-int4 "xx.png Describe this image"

使用 llama.cpp 进行对话

1. 编译 llama.cpp (文档)。
2. 编译 ./llava-cli (文档)。

注意：llava-llama-3-8b-v1_1 使用 Llama-3-instruct 对话模板。

# fp16
./llava-cli -m ./llava-llama-3-8b-v1_1-f16.gguf --mmproj ./llava-llama-3-8b-v1_1-mmproj-f16.gguf --image YOUR_IMAGE.jpg -c 4096 -e -p "<|start_header_id|>user<|end_header_id|>\n\n<image>\nDescribe this image<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n"

# int4
./llava-cli -m ./llava-llama-3-8b-v1_1-int4.gguf --mmproj ./llava-llama-3-8b-v1_1-mmproj-f16.gguf --image YOUR_IMAGE.jpg -c 4096 -e -p "<|start_header_id|>user<|end_header_id|>\n\n<image>\nDescribe this image<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n"

复现实验

请参考 文档。

✨ 主要特性

• 多数据集微调：基于 ShareGPT4V-PT 和 InternVL-SFT 数据集进行微调，提升模型性能。
• 多格式支持：提供 GGUF 格式模型，同时有不同精度（fp16、int4）的模型可供选择。
• 多工具适配：支持使用 ollama 和 llama.cpp 进行对话。

📚 详细文档

模型信息

llava-llama-3-8b-v1_1 是一个基于 meta-llama/Meta-Llama-3-8B-Instruct 和 CLIP-ViT-Large-patch14-336 进行微调的 LLaVA 模型，由 XTuner 完成微调。

注意：该模型为 GGUF 格式。

资源链接

• GitHub: xtuner
• HuggingFace LLaVA 格式模型: xtuner/llava-llama-3-8b-v1_1-transformers
• 官方 LLaVA 格式模型: xtuner/llava-llama-3-8b-v1_1-hf
• XTuner LLaVA 格式模型: xtuner/llava-llama-3-8b-v1_1

模型细节

实验结果

📄 许可证

文档中未提及相关许可证信息。

📖 引用

@misc{2023xtuner,
    title={XTuner: A Toolkit for Efficiently Fine-tuning LLM},
    author={XTuner Contributors},
    howpublished = {\url{https://github.com/InternLM/xtuner}},
    year={2023}
}