Gemma 3 12b It GGUF

🚀 Gemma-3-12b-it-GGUF

このプロジェクトは、GoogleのGemma-3-12b-itモデルを量子化したGGUF形式のモデルを提供します。LlamaEdgeを使ってこのモデルを実行する方法や、量子化されたモデルの詳細について説明します。

🚀 クイックスタート

オリジナルモデル

google/gemma-3-12b-it

LlamaEdgeでの実行

• LlamaEdgeバージョン: v0.16.1 以上

• プロンプトテンプレート

  • プロンプトタイプ: gemma-instruct
  • プロンプト文字列

    <bos><start_of_turn>user
    {user_message}<end_of_turn>
    <start_of_turn>model
    {model_message}<end_of_turn>model
    

• コンテキストサイズ: 128000

• LlamaEdgeサービスとして実行

  wasmedge --dir .:. --nn-preload default:GGML:AUTO:gemma-3-12b-it-Q5_K_M.gguf \
    llama-api-server.wasm \
    --prompt-template gemma-instruct \
    --ctx-size 128000 \
    --model-name gemma-3-12b
  

• LlamaEdgeコマンドアプリとして実行

  wasmedge --dir .:. \
    --nn-preload default:GGML:AUTO:gemma-3-12b-it-Q5_K_M.gguf \
    llama-chat.wasm \
    --prompt-template gemma-instruct \
    --ctx-size 128000
  

✨ 主な機能

• GoogleのGemma-3-12b-itモデルを量子化したGGUF形式のモデルを提供
• LlamaEdgeを使って簡単にモデルを実行できる

📦 インストール

上記のコマンドを使って、LlamaEdgeでモデルを実行するための環境をセットアップします。

💻 使用例

上記のコマンドを参考に、LlamaEdgeサービスまたはコマンドアプリとしてモデルを実行できます。

📚 ドキュメント

量子化されたGGUFモデル

llama.cpp b4875で量子化

📄 ライセンス

gemma