Gemma 3 4b It GGUF

🚀 ysn-rfd/gemma-3-4b-it-GGUF

このモデルは、google/gemma-3-4b-it から、llama.cpp を使用して ggml.ai の GGUF-my-repo スペース経由で GGUF 形式に変換されました。モデルの詳細については、元のモデルカード を参照してください。

🚀 クイックスタート

このセクションでは、モデルの基本的な使い方を説明します。

✨ 主な機能

• このモデルは、google/gemma-3-4b-it を GGUF 形式に変換したものです。
• llama.cpp を使用して、CLI またはサーバーとして実行できます。

📦 インストール

llama.cpp のインストール

Mac と Linux では、brew を使用して llama.cpp をインストールできます。

brew install llama.cpp

💻 使用例

llama.cpp での使用

CLI での使用

llama-cli --hf-repo ysn-rfd/gemma-3-4b-it-GGUF --hf-file gemma-3-4b-it-q4_0.gguf -p "The meaning to life and the universe is"

サーバーでの使用

llama-server --hf-repo ysn-rfd/gemma-3-4b-it-GGUF --hf-file gemma-3-4b-it-q4_0.gguf -c 2048

Llama.cpp リポジトリの手順を使用する場合

ステップ 1: llama.cpp を GitHub からクローンする

git clone https://github.com/ggerganov/llama.cpp

ステップ 2: llama.cpp フォルダに移動し、LLAMA_CURL=1 フラグと他のハードウェア固有のフラグを使用してビルドする

cd llama.cpp && LLAMA_CURL=1 make

ステップ 3: メインバイナリを通じて推論を実行する

./llama-cli --hf-repo ysn-rfd/gemma-3-4b-it-GGUF --hf-file gemma-3-4b-it-q4_0.gguf -p "The meaning to life and the universe is"

または

./llama-server --hf-repo ysn-rfd/gemma-3-4b-it-GGUF --hf-file gemma-3-4b-it-q4_0.gguf -c 2048

📚 ドキュメント

モデル情報

アクセスに関する注意事項

⚠️ 重要提示

Hugging Face で Gemma にアクセスするには、Google の使用許諾書を確認して同意する必要があります。これを行うには、Hugging Face にログインして、以下をクリックしてください。リクエストはすぐに処理されます。

💡 使用建议

このチェックポイントは、Llama.cpp リポジトリに記載されている 使用手順 を通じて直接使用することもできます。

📄 ライセンス

このモデルは、gemma ライセンスの下で提供されています。詳細については、元のモデルカード を参照してください。