Llava Phi 3 Mini Gguf

🚀 LLaVA-Phi-3-mini

LLaVA-Phi-3-miniは、画像をテキストに変換するモデルです。このモデルは、特定のデータセットを用いて微調整され、画像に対する説明や理解などのタスクに有効です。

✨ 主な機能

モデル概要

llava-phi-3-miniは、microsoft/Phi-3-mini-4k-instruct と CLIP-ViT-Large-patch14-336 をベースに、ShareGPT4V-PT と InternVL-SFT のデータセットを用いて、XTuner で微調整されたLLaVAモデルです。

注意: このモデルはGGUF形式です。

関連リソース

• GitHub: xtuner
• 公式LLaVA形式のモデル: xtuner/llava-phi-3-mini
• HuggingFace LLaVA形式のモデル: xtuner/llava-phi-3-mini-hf
• XTuner LLaVA形式のモデル: xtuner/llava-phi-3-mini-xtuner

📚 ドキュメント

詳細情報

結果

🚀 クイックスタート

モデルのダウンロード

# mmproj
wget https://huggingface.co/xtuner/llava-phi-3-mini-gguf/resolve/main/llava-phi-3-mini-mmproj-f16.gguf

# fp16 llm
wget https://huggingface.co/xtuner/llava-phi-3-mini-gguf/resolve/main/llava-phi-3-mini-f16.gguf

# int4 llm
wget https://huggingface.co/xtuner/llava-phi-3-mini-gguf/resolve/main/llava-phi-3-mini-int4.gguf

# (オプション) ollama fp16 modelfile
wget https://huggingface.co/xtuner/llava-phi-3-mini-gguf/resolve/main/OLLAMA_MODELFILE_F16

# (オプション) ollama int4 modelfile
wget https://huggingface.co/xtuner/llava-phi-3-mini-gguf/resolve/main/OLLAMA_MODELFILE_INT4

ollama でのチャット

注意: llava-phi-3-miniは Phi-3-instruct チャットテンプレートを使用しています。

# fp16
ollama create llava-phi3-f16 -f ./OLLAMA_MODELFILE_F16
ollama run llava-phi3-f16 "xx.png Describe this image"

# int4
ollama create llava-phi3-int4 -f ./OLLAMA_MODELFILE_INT4
ollama run llava-phi3-int4 "xx.png Describe this image"

./llava-cli でのチャット

1. llama.cpp をビルドします (ドキュメント)。
2. ./llava-cli をビルドします (ドキュメント)。

注意: llava-phi-3-miniは Phi-3-instruct チャットテンプレートを使用しています。

# fp16
./llava-cli -m ./llava-phi-3-mini-f16.gguf --mmproj ./llava-phi-3-mini-mmproj-f16.gguf --image YOUR_IMAGE.jpg -c 4096

# int4
./llava-cli -m ./llava-phi-3-mini-int4.gguf --mmproj ./llava-phi-3-mini-mmproj-f16.gguf --image YOUR_IMAGE.jpg -c 4096

再現方法

詳細は ドキュメント を参照してください。

📄 ライセンス

@misc{2023xtuner,
    title={XTuner: A Toolkit for Efficiently Fine-tuning LLM},
    author={XTuner Contributors},
    howpublished = {\url{https://github.com/InternLM/xtuner}},
    year={2023}
}