Llava Llama 3 8b V1 1 GGUF

🚀 MoMonir/llava-llama-3-8b-v1_1-GGUF

本项目将模型转换为了GGUF格式，原模型为xtuner/llava-llama-3-8b-v1_1。如需了解该模型的更多详情，请参考原始模型卡片。

数据集

• Lin-Chen/ShareGPT4V

任务类型

图像转文本

✨ 主要特性

GGUF是llama.cpp团队于2023年8月21日推出的一种新格式，它取代了不再受llama.cpp支持的GGML格式。以下是已知支持GGUF的客户端和库的不完全列表：

• llama.cpp：GGUF的源项目，提供命令行界面和服务器选项。
• text-generation-webui：最广泛使用的Web UI，具有许多功能和强大的扩展，支持GPU加速。
• KoboldCpp：功能齐全的Web UI，支持所有平台和GPU架构的GPU加速，尤其适用于故事创作。
• GPT4All：一个免费开源的本地运行GUI，支持Windows、Linux和macOS，并提供全GPU加速。
• LM Studio：适用于Windows和macOS（Silicon）的易用且强大的本地GUI，支持GPU加速。截至2023年11月27日，Linux版本处于测试阶段。
• LoLLMS Web UI：一个很棒的Web UI，具有许多有趣和独特的功能，包括一个完整的模型库，便于模型选择。
• Faraday.dev：一个有吸引力且易于使用的基于角色的聊天GUI，适用于Windows和macOS（Silicon和Intel），支持GPU加速。
• llama-cpp-python：一个支持GPU加速、LangChain和OpenAI兼容API服务器的Python库。
• candle：一个注重性能的Rust机器学习框架，包括GPU支持，且易于使用。
• ctransformers：一个支持GPU加速、LangChain和OpenAI兼容AI服务器的Python库。截至2023年11月27日，ctransformers已有很长时间未更新，不支持许多最新模型。

📦 安装指南

下载模型

# mmproj
wget https://huggingface.co/xtuner/llava-llama-3-8b-v1_1-gguf/resolve/main/llava-llama-3-8b-v1_1-mmproj-f16.gguf

# fp16 llm
wget https://huggingface.co/xtuner/llava-llama-3-8b-v1_1-gguf/resolve/main/llava-llama-3-8b-v1_1-f16.gguf

# int4 llm
wget https://huggingface.co/xtuner/llava-llama-3-8b-v1_1-gguf/resolve/main/llava-llama-3-8b-v1_1-int4.gguf

# (可选) ollama fp16 modelfile
wget https://huggingface.co/xtuner/llava-llama-3-8b-v1_1-gguf/resolve/main/OLLAMA_MODELFILE_F16

# (可选) ollama int4 modelfile
wget https://huggingface.co/xtuner/llava-llama-3-8b-v1_1-gguf/resolve/main/OLLAMA_MODELFILE_INT4

💻 使用示例

使用ollama进行聊天

# fp16
ollama create llava-llama3-f16 -f ./OLLAMA_MODELFILE_F16
ollama run llava-llama3-f16 "xx.png Describe this image"

# int4
ollama create llava-llama3-int4 -f ./OLLAMA_MODELFILE_INT4
ollama run llava-llama3-int4 "xx.png Describe this image"

使用llama.cpp进行聊天

1. 构建 llama.cpp（文档）。
2. 构建 ./llava-cli（文档）。

注意：llava-llama-3-8b-v1_1使用Llama-3-instruct聊天模板。

# fp16
./llava-cli -m ./llava-llama-3-8b-v1_1-f16.gguf --mmproj ./llava-llama-3-8b-v1_1-mmproj-f16.gguf --image YOUR_IMAGE.jpg -c 4096 -e -p "<|start_header_id|>user<|end_header_id|>\n\n<image>\nDescribe this image<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n"

# int4
./llava-cli -m ./llava-llama-3-8b-v1_1-int4.gguf --mmproj ./llava-llama-3-8b-v1_1-mmproj-f16.gguf --image YOUR_IMAGE.jpg -c 4096 -e -p "<|start_header_id|>user<|end_header_id|>\n\n<image>\nDescribe this image<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n"

复现实验

请参考 文档。

📚 详细文档

模型信息

llava-llama-3-8b-v1_1是一个基于LLaVA的模型，由XTuner在meta-llama/Meta-Llama-3-8B-Instruct和CLIP-ViT-Large-patch14-336的基础上，使用ShareGPT4V-PT和InternVL-SFT进行微调得到。

注意：此模型为GGUF格式。

资源链接

• GitHub：xtuner
• HuggingFace LLaVA格式模型：xtuner/llava-llama-3-8b-v1_1-transformers
• 官方LLaVA格式模型：xtuner/llava-llama-3-8b-v1_1-hf
• XTuner LLaVA格式模型：xtuner/llava-llama-3-8b-v1_1

模型详情

实验结果

🔧 技术细节

本项目将模型转换为了GGUF格式，GGUF是llama.cpp团队推出的新格式，取代了GGML格式。在微调过程中，使用了特定的数据集和策略，具体信息可参考上述详细文档部分。

📄 许可证

引用信息

@misc{2023xtuner,
    title={XTuner: A Toolkit for Efficiently Fine-tuning LLM},
    author={XTuner Contributors},
    howpublished = {\url{https://github.com/InternLM/xtuner}},
    year={2023}
}