Gemma 3 12b It Q5 K S GGUF

🚀 NikolayKozloff/gemma-3-12b-it-Q5_K_S-GGUF

このモデルは、google/gemma-3-12b-it から、llama.cpp を使用して ggml.ai の GGUF-my-repo スペース経由で GGUF 形式に変換されました。モデルの詳細については、元のモデルカード を参照してください。

🚀 クイックスタート

このモデルは、google/gemma-3-12b-it からGGUF形式に変換されたものです。llama.cppを使用してこのモデルを利用することができます。

✨ 主な機能

• このモデルは、google/gemma-3-12b-it をGGUF形式に変換したものです。
• llama.cppを使用して、CLIまたはサーバーとして利用できます。

📦 インストール

llama.cppのインストール

llama.cppをbrewを通じてインストールします（MacとLinuxで動作します）。

brew install llama.cpp

💻 使用例

CLIでの使用

llama-cli --hf-repo NikolayKozloff/gemma-3-12b-it-Q5_K_S-GGUF --hf-file gemma-3-12b-it-q5_k_s.gguf -p "The meaning to life and the universe is"

サーバーでの使用

llama-server --hf-repo NikolayKozloff/gemma-3-12b-it-Q5_K_S-GGUF --hf-file gemma-3-12b-it-q5_k_s.gguf -c 2048

別の使用方法

1. llama.cppをGitHubからクローンします。

git clone https://github.com/ggerganov/llama.cpp

2. llama.cppフォルダに移動し、LLAMA_CURL=1 フラグと他のハードウェア固有のフラグ（例：LinuxのNvidia GPUの場合は LLAMA_CUDA=1）を指定してビルドします。

cd llama.cpp && LLAMA_CURL=1 make

3. メインバイナリを通じて推論を実行します。

./llama-cli --hf-repo NikolayKozloff/gemma-3-12b-it-Q5_K_S-GGUF --hf-file gemma-3-12b-it-q5_k_s.gguf -p "The meaning to life and the universe is"

または

./llama-server --hf-repo NikolayKozloff/gemma-3-12b-it-Q5_K_S-GGUF --hf-file gemma-3-12b-it-q5_k_s.gguf -c 2048

📄 ライセンス

このモデルは、Gemmaのライセンスの下にあります。Hugging FaceでGemmaにアクセスするには、Googleの使用許諾書を確認して同意する必要があります。これを行うには、Hugging Faceにログインして以下をクリックしてください。リクエストは即座に処理されます。

⚠️ 重要提示

Hugging FaceでGemmaにアクセスするには、Googleの使用許諾書を確認して同意する必要があります。

💡 使用建议

llama.cppを使用する際には、ハードウェア固有のフラグを適切に設定することで、性能を向上させることができます。