Summllama3 8B Q3 K M GGUF

🚀 dil99x/SummLlama3-8B-Q3_K_M-GGUF

このモデルは、DISLab/SummLlama3-8B から、llama.cppを用いてggml.aiの GGUF-my-repo を通じてGGUF形式に変換されました。モデルの詳細については、元のモデルカード を参照してください。

🚀 クイックスタート

このモデルは、llama.cppを使用して利用することができます。以下に、具体的な手順を説明します。

📦 インストール

llama.cppのインストール

MacとLinuxでは、brewを通じてllama.cppをインストールできます。

brew install llama.cpp

💻 使用例

CLIでの使用

llama-cli --hf-repo dil99x/SummLlama3-8B-Q3_K_M-GGUF --hf-file summllama3-8b-q3_k_m.gguf -p "The meaning to life and the universe is"

サーバーでの使用

llama-server --hf-repo dil99x/SummLlama3-8B-Q3_K_M-GGUF --hf-file summllama3-8b-q3_k_m.gguf -c 2048

別の使用方法

このモデルは、Llama.cppリポジトリに記載されている 使用手順 を通じて直接利用することもできます。

手順1: llama.cppをGitHubからクローンする

git clone https://github.com/ggerganov/llama.cpp

手順2: llama.cppフォルダに移動し、LLAMA_CURL=1 フラグと他のハードウェア固有のフラグ（例：LinuxのNvidia GPUの場合は LLAMA_CUDA=1）でビルドする

cd llama.cpp && LLAMA_CURL=1 make

手順3: メインバイナリを通じて推論を実行する

./llama-cli --hf-repo dil99x/SummLlama3-8B-Q3_K_M-GGUF --hf-file summllama3-8b-q3_k_m.gguf -p "The meaning to life and the universe is"

または

./llama-server --hf-repo dil99x/SummLlama3-8B-Q3_K_M-GGUF --hf-file summllama3-8b-q3_k_m.gguf -c 2048

📚 ドキュメント