Llava Phi 3 Mini Gguf

🚀 llava-phi-3-mini模型

llava-phi-3-mini是一個圖像到文本的模型，它基於特定的數據集進行微調，能夠在圖像理解和文本生成方面發揮作用，為圖像相關的自然語言處理任務提供支持。

🚀 快速開始

下載模型

# mmproj
wget https://huggingface.co/xtuner/llava-phi-3-mini-gguf/resolve/main/llava-phi-3-mini-mmproj-f16.gguf

# fp16 llm
wget https://huggingface.co/xtuner/llava-phi-3-mini-gguf/resolve/main/llava-phi-3-mini-f16.gguf

# int4 llm
wget https://huggingface.co/xtuner/llava-phi-3-mini-gguf/resolve/main/llava-phi-3-mini-int4.gguf

# (可選) ollama fp16 modelfile
wget https://huggingface.co/xtuner/llava-phi-3-mini-gguf/resolve/main/OLLAMA_MODELFILE_F16

# (可選) ollama int4 modelfile
wget https://huggingface.co/xtuner/llava-phi-3-mini-gguf/resolve/main/OLLAMA_MODELFILE_INT4

使用ollama進行對話

⚠️ 重要提示

llava-phi-3-mini使用Phi-3-instruct對話模板。

# fp16
ollama create llava-phi3-f16 -f ./OLLAMA_MODELFILE_F16
ollama run llava-phi3-f16 "xx.png Describe this image"

# int4
ollama create llava-phi3-int4 -f ./OLLAMA_MODELFILE_INT4
ollama run llava-phi3-int4 "xx.png Describe this image"

使用./llava-cli進行對話

1. 構建 llama.cpp (文檔)。
2. 構建 ./llava-cli (文檔)。

⚠️ 重要提示

llava-phi-3-mini使用Phi-3-instruct對話模板。

# fp16
./llava-cli -m ./llava-phi-3-mini-f16.gguf --mmproj ./llava-phi-3-mini-mmproj-f16.gguf --image YOUR_IMAGE.jpg -c 4096

# int4
./llava-cli -m ./llava-phi-3-mini-int4.gguf --mmproj ./llava-phi-3-mini-mmproj-f16.gguf --image YOUR_IMAGE.jpg -c 4096

復現實驗

請參考 文檔。

✨ 主要特性

• 基於特定的預訓練模型和視覺編碼器進行微調，能夠處理圖像到文本的轉換任務。
• 提供不同量化版本（如fp16和int4）的模型，以滿足不同的計算資源需求。
• 支持使用ollama和./llava-cli進行對話交互。

📦 安裝指南

按照快速開始部分的步驟下載模型，並根據需要進行構建和配置。

📚 詳細文檔

模型信息

llava-phi-3-mini是一個LLaVA模型，由 XTuner 基於 microsoft/Phi-3-mini-4k-instruct 和 CLIP-ViT-Large-patch14-336，使用 ShareGPT4V-PT 和 InternVL-SFT 進行微調得到。

注意：此模型為GGUF格式。

資源鏈接：

• GitHub: xtuner
• 官方LLaVA格式模型: xtuner/llava-phi-3-mini
• HuggingFace LLaVA格式模型: xtuner/llava-phi-3-mini-hf
• XTuner LLaVA格式模型: xtuner/llava-phi-3-mini-xtuner

模型詳情

實驗結果

📄 許可證

本項目引用了以下文獻：

@misc{2023xtuner,
    title={XTuner: A Toolkit for Efficiently Fine-tuning LLM},
    author={XTuner Contributors},
    howpublished = {\url{https://github.com/InternLM/xtuner}},
    year={2023}
}