Llava Llama 3 8b V1 1 Q4 K M GGUF

🚀 RaincloudAi/llava-llama-3-8b-v1_1-Q4_K_M-GGUF

このモデルは、xtuner/llava-llama-3-8b-v1_1 から、llama.cppを使用してggml.aiの GGUF-my-repo スペースを介してGGUF形式に変換されました。 モデルの詳細については、元のモデルカード を参照してください。

🚀 クイックスタート

このモデルは、xtuner/llava-llama-3-8b-v1_1 からGGUF形式に変換されたものです。以下に、llama.cppを使用した使用方法を説明します。

📦 インストール

llama.cppをbrewを通じてインストールします。

brew install ggerganov/ggerganov/llama.cpp

💻 使用例

基本的な使用法

llama.cppのCLIを使用する例です。

llama-cli --hf-repo RaincloudAi/llava-llama-3-8b-v1_1-Q4_K_M-GGUF --model llava-llama-3-8b-v1_1.Q4_K_M.gguf -p "The meaning to life and the universe is"

高度な使用法

llama.cppのサーバーを使用する例です。

llama-server --hf-repo RaincloudAi/llava-llama-3-8b-v1_1-Q4_K_M-GGUF --model llava-llama-3-8b-v1_1.Q4_K_M.gguf -c 2048

また、このチェックポイントは、Llama.cppリポジトリに記載されている 使用手順 を直接通じて使用することもできます。

git clone https://github.com/ggerganov/llama.cpp &&             cd llama.cpp &&             make &&             ./main -m llava-llama-3-8b-v1_1.Q4_K_M.gguf -n 128