Gemma 3 4b It Abliterated Q4 0 GGUF

🚀 BernTheCreator/gemma-3-4b-it-abliterated-Q4_0-GGUF

このモデルは、Abliterated Q4_0-GGUF とより良い mmproj (vision) オプション (x-ray_alpha) を組み合わせることで、よりスムーズな体験を提供します。

このモデルは、mlabonne/gemma-3-4b-it-abliterated から、llama.cpp を使用して ggml.ai の GGUF-my-repo スペースを介して GGUF 形式に変換されました。

モデルの詳細については、元のモデルカード を参照してください。

🚀 クイックスタート

✨ 主な機能

• ベースモデルとして mlabonne/gemma-3-4b-it-abliterated と SicariusSicariiStuff/X-Ray_Alpha を使用。
• transformers ライブラリをサポート。
• gemma ライセンスの下で提供。
• image-text-to-text のパイプラインタグを持つ。

📦 インストール

llama.cpp のインストール

llama.cpp を brew を通じてインストールします（Mac と Linux で動作）。

brew install llama.cpp

💻 使用例

llama.cpp を使用した推論

CLI:

llama-cli --hf-repo BernTheCreator/gemma-3-4b-it-abliterated-Q4_0-GGUF --hf-file gemma-3-4b-it-abliterated-q4_0.gguf -p "The meaning to life and the universe is"

Server:

llama-server --hf-repo BernTheCreator/gemma-3-4b-it-abliterated-Q4_0-GGUF --hf-file gemma-3-4b-it-abliterated-q4_0.gguf -c 2048

Llama.cpp リポジトリの手順を使用する場合

Step 1: GitHub から llama.cpp をクローンします。

git clone https://github.com/ggerganov/llama.cpp

Step 2: llama.cpp フォルダに移動し、LLAMA_CURL=1 フラグと他のハードウェア固有のフラグ（例：Linux の Nvidia GPU の場合は LLAMA_CUDA=1）でビルドします。

cd llama.cpp && LLAMA_CURL=1 make

Step 3: メインバイナリを通じて推論を実行します。

./llama-cli --hf-repo BernTheCreator/gemma-3-4b-it-abliterated-Q4_0-GGUF --hf-file gemma-3-4b-it-abliterated-q4_0.gguf -p "The meaning to life and the universe is"

または

./llama-server --hf-repo BernTheCreator/gemma-3-4b-it-abliterated-Q4_0-GGUF --hf-file gemma-3-4b-it-abliterated-q4_0.gguf -c 2048

📄 ライセンス

このモデルは gemma ライセンスの下で提供されています。