Gemma 3 4b It Q4 K M GGUF

🚀 Aldaris/gemma-3-4b-it-Q4_K_M-GGUF

このプロジェクトでは、モデルを google/gemma-3-4b-it から GGUF 形式に変換しています。変換は llama.cpp を利用し、ggml.ai の GGUF-my-repo スペースを通じて行われます。このモデルの詳細情報については、元のモデルカード を参照してください。

🚀 クイックスタート

モデル情報

アクセスに関する注意

⚠️ 重要な注意事項

Hugging Face 上で Gemma にアクセスするには、Google の使用許諾を確認して同意する必要があります。そのため、Hugging Face にログインし、以下のボタンをクリックしてください。リクエストはすぐに処理されます。

ボタンの内容：許諾を確認

📦 インストール

Homebrew を使用した llama.cpp のインストール（Mac と Linux 用）

brew install llama.cpp

💻 使用例

基本的な使用法

CLI を使用した呼び出し

llama-cli --hf-repo Aldaris/gemma-3-4b-it-Q4_K_M-GGUF --hf-file gemma-3-4b-it-q4_k_m.gguf -p "The meaning to life and the universe is"

サーバーを使用した呼び出し

llama-server --hf-repo Aldaris/gemma-3-4b-it-Q4_K_M-GGUF --hf-file gemma-3-4b-it-q4_k_m.gguf -c 2048

高度な使用法

このチェックポイントは、Llama.cpp リポジトリに記載されている 使用手順 を直接使用して利用することもできます。

手順 1：GitHub から llama.cpp をクローンする

git clone https://github.com/ggerganov/llama.cpp

手順 2：llama.cpp フォルダに移動し、LLAMA_CURL=1 フラグとその他の特定のハードウェアフラグ（例えば、Linux で Nvidia GPU を使用する場合は LLAMA_CUDA=1）を使用してコンパイルする

cd llama.cpp && LLAMA_CURL=1 make

手順 3：メインバイナリを使用して推論を実行する

./llama-cli --hf-repo Aldaris/gemma-3-4b-it-Q4_K_M-GGUF --hf-file gemma-3-4b-it-q4_k_m.gguf -p "The meaning to life and the universe is"

または

./llama-server --hf-repo Aldaris/gemma-3-4b-it-Q4_K_M-GGUF --hf-file gemma-3-4b-it-q4_k_m.gguf -c 2048

📄 ライセンス

このプロジェクトは gemma ライセンスの下で提供されています。