Llava Llama 3 8b V1 1 Q5 K M GGUF

🚀 djward888/llava-llama-3-8b-v1_1-Q5_K_M-GGUF

このモデルは、xtuner/llava-llama-3-8b-v1_1 から、llama.cppを使用してggml.aiの GGUF-my-repo スペース経由でGGUF形式に変換されました。モデルの詳細については、元のモデルカード を参照してください。

🚀 クイックスタート

✨ 主な機能

このモデルは、画像とテキストを入力としてテキストを出力する image-text-to-text パイプラインをサポートしています。

📦 インストール

llama.cppをbrewを通じてインストールします。

brew install ggerganov/ggerganov/llama.cpp

💻 使用例

基本的な使用法

CLIを使用する場合：

llama-cli --hf-repo djward888/llava-llama-3-8b-v1_1-Q5_K_M-GGUF --model llava-llama-3-8b-v1_1.Q5_K_M.gguf -p "The meaning to life and the universe is"

サーバーを使用する場合：

llama-server --hf-repo djward888/llava-llama-3-8b-v1_1-Q5_K_M-GGUF --model llava-llama-3-8b-v1_1.Q5_K_M.gguf -c 2048

高度な使用法

Llama.cppリポジトリに記載されている 使用手順 を直接使用することもできます。

git clone https://github.com/ggerganov/llama.cpp &&             cd llama.cpp &&             make &&             ./main -m llava-llama-3-8b-v1_1.Q5_K_M.gguf -n 128

📚 ドキュメント