Llava Phi 3 Mini Gguf

🚀 llava-phi-3-mini模型

llava-phi-3-mini是一个图像到文本的模型，它基于特定的数据集进行微调，能够在图像理解和文本生成方面发挥作用，为图像相关的自然语言处理任务提供支持。

🚀 快速开始

下载模型

# mmproj
wget https://huggingface.co/xtuner/llava-phi-3-mini-gguf/resolve/main/llava-phi-3-mini-mmproj-f16.gguf

# fp16 llm
wget https://huggingface.co/xtuner/llava-phi-3-mini-gguf/resolve/main/llava-phi-3-mini-f16.gguf

# int4 llm
wget https://huggingface.co/xtuner/llava-phi-3-mini-gguf/resolve/main/llava-phi-3-mini-int4.gguf

# (可选) ollama fp16 modelfile
wget https://huggingface.co/xtuner/llava-phi-3-mini-gguf/resolve/main/OLLAMA_MODELFILE_F16

# (可选) ollama int4 modelfile
wget https://huggingface.co/xtuner/llava-phi-3-mini-gguf/resolve/main/OLLAMA_MODELFILE_INT4

使用ollama进行对话

⚠️ 重要提示

llava-phi-3-mini使用Phi-3-instruct对话模板。

# fp16
ollama create llava-phi3-f16 -f ./OLLAMA_MODELFILE_F16
ollama run llava-phi3-f16 "xx.png Describe this image"

# int4
ollama create llava-phi3-int4 -f ./OLLAMA_MODELFILE_INT4
ollama run llava-phi3-int4 "xx.png Describe this image"

使用./llava-cli进行对话

1. 构建 llama.cpp (文档)。
2. 构建 ./llava-cli (文档)。

⚠️ 重要提示

llava-phi-3-mini使用Phi-3-instruct对话模板。

# fp16
./llava-cli -m ./llava-phi-3-mini-f16.gguf --mmproj ./llava-phi-3-mini-mmproj-f16.gguf --image YOUR_IMAGE.jpg -c 4096

# int4
./llava-cli -m ./llava-phi-3-mini-int4.gguf --mmproj ./llava-phi-3-mini-mmproj-f16.gguf --image YOUR_IMAGE.jpg -c 4096

复现实验

请参考 文档。

✨ 主要特性

• 基于特定的预训练模型和视觉编码器进行微调，能够处理图像到文本的转换任务。
• 提供不同量化版本（如fp16和int4）的模型，以满足不同的计算资源需求。
• 支持使用ollama和./llava-cli进行对话交互。

📦 安装指南

按照快速开始部分的步骤下载模型，并根据需要进行构建和配置。

📚 详细文档

模型信息

llava-phi-3-mini是一个LLaVA模型，由 XTuner 基于 microsoft/Phi-3-mini-4k-instruct 和 CLIP-ViT-Large-patch14-336，使用 ShareGPT4V-PT 和 InternVL-SFT 进行微调得到。

注意：此模型为GGUF格式。

资源链接：

• GitHub: xtuner
• 官方LLaVA格式模型: xtuner/llava-phi-3-mini
• HuggingFace LLaVA格式模型: xtuner/llava-phi-3-mini-hf
• XTuner LLaVA格式模型: xtuner/llava-phi-3-mini-xtuner

模型详情

实验结果

📄 许可证

本项目引用了以下文献：

@misc{2023xtuner,
    title={XTuner: A Toolkit for Efficiently Fine-tuning LLM},
    author={XTuner Contributors},
    howpublished = {\url{https://github.com/InternLM/xtuner}},
    year={2023}
}