Gemma 3 27b It GGUF

🚀 Gemma-3-27b-it-GGUF

Gemma-3-27b-it-GGUF は、Google の Gemma-3-27b-it モデルをベースに、Second State Inc. によって量子化されたモデルです。このモデルは、画像テキストからテキストへのタスクに適しています。

🚀 クイックスタート

このモデルは Google の Gemma-3-27b-it モデルをベースに、Second State Inc. によって量子化されています。画像テキストからテキストへのタスクに適用できます。

📦 インストール

この部分のドキュメントでは具体的なインストール手順が提供されていません。必要な場合は、公式ドキュメントまたはコミュニティリソースを参照してください。

✨ 主な機能

• ベースモデル：google/gemma-3-27b-it モデルをベースにしています。
• 量子化処理：Second State Inc. によって量子化されており、複数の量子化バージョンから選択できます。
• 適用タスク：画像テキストからテキストへのタスクに適しています。

💻 使用例

基本的な使用法

LlamaEdge と一緒に実行する

• LlamaEdge バージョン：v0.18.5 以上。
• プロンプトテンプレート
  • プロンプトタイプ：gemma-3
  • プロンプト文字列

    <bos><start_of_turn>user
    {user_message}<end_of_turn>
    <start_of_turn>model
    {model_message}<end_of_turn>model
    

• コンテキストサイズ：128000

LlamaEdge サービスとして実行する

チャット

wasmedge --dir .:. --nn-preload default:GGML:AUTO:gemma-3-27b-it-Q5_K_M.gguf \
  llama-api-server.wasm \
  --prompt-template gemma-3 \
  --ctx-size 128000 \
  --model-name gemma-3-27b

画像

⚠️ 重要な注意事項

入力画像は 896 x 896 の解像度に正規化する必要があり、各画像は 256 個のトークンにエンコードされます。

wasmedge --dir .:. --nn-preload default:GGML:AUTO:gemma-3-27b-it-Q5_K_M.gguf \
  llama-api-server.wasm \
  --prompt-template gemma-3 \
  --llava-mmproj gemma-3-27b-it-mmproj.gguf \
  --ctx-size 128000 \
  --model-name gemma-3-27b

LlamaEdge コマンドラインアプリケーションとして実行する

wasmedge --dir .:. \
  --nn-preload default:GGML:AUTO:gemma-3-27b-it-Q5_K_M.gguf \
  llama-chat.wasm \
  --prompt-template gemma-3 \
  --ctx-size 128000

📚 ドキュメント

オリジナルモデル

google/gemma-3-27b-it

量子化モデル

llama.cpp b4875 を使用して量子化

📄 ライセンス

このモデルは gemma ライセンスを使用しています。具体的なライセンス条項については、関連ドキュメントを参照してください。