Gemma 3 27b It Quantized.w4a16
これはgoogle/gemma-3-27b-itの量子化バージョンで、ビジュアル - テキスト入力とテキスト出力をサポートし、重み量子化と活性化量子化による最適化を行い、vLLMを使用して高効率推論が可能です。
ダウンロード数 302
リリース時間 : 6/4/2025
モデル概要
google/gemma-3-27b-itに基づく量子化モデルで、マルチモーダル入力とテキスト生成をサポートし、高効率推論が必要なシーンに適しています。
モデル特徴
高効率量子化
INT4重み量子化とFP16活性化量子化を採用し、モデルサイズと推論リソースの要件を大幅に削減します。
マルチモーダルサポート
ビジュアル - テキスト入力をサポートし、画像とテキストを組み合わせた複雑なタスクを処理できます。
高効率推論
最適化後、vLLMを通じて高効率なデプロイと推論が可能で、処理速度が向上します。
モデル能力
マルチモーダル理解
テキスト生成
画像内容分析
使用事例
内容理解と生成
画像内容記述
画像内容を分析して記述的なテキストを生成する
画像内の主要な要素とシーンを正確に識別する
マルチモーダル対話
画像とテキスト入力を組み合わせてスマートな対話を行う
画像内容に関連する首尾一貫した回答を提供する
🚀 gemma-3-27b-it-quantized.w4a16
これは google/gemma-3-27b-it の量子化バージョンです。このモデルは、ビジュアル - テキスト入力をサポートし、出力はテキストです。重み量子化や活性化量子化などの最適化により、vLLM を使用して効率的な推論が可能です。
🚀 クイックスタート
このモデルは vLLM バックエンドを使用して効率的にデプロイできます。以下はサンプルコードです。
from vllm import LLM, SamplingParams
from vllm.assets.image import ImageAsset
from transformers import AutoProcessor
# Define model name once
model_name = "RedHatAI/gemma-3-27b-it-quantized.w4a16"
# Load image and processor
image = ImageAsset("cherry_blossom").pil_image.convert("RGB")
processor = AutoProcessor.from_pretrained(model_name, trust_remote_code=True)
# Build multimodal prompt
chat = [
{"role": "user", "content": [{"type": "image"}, {"type": "text", "text": "What is the content of this image?"}]},
{"role": "assistant", "content": []}
]
prompt = processor.apply_chat_template(chat, add_generation_prompt=True)
# Initialize model
llm = LLM(model=model_name, trust_remote_code=True)
# Run inference
inputs = {"prompt": prompt, "multi_modal_data": {"image": [image]}}
outputs = llm.generate(inputs, SamplingParams(temperature=0.2, max_tokens=64))
# Display result
print("RESPONSE:", outputs[0].outputs[0].text)
vLLM は OpenAI 互換のサービスもサポートしています。詳細については ドキュメント を参照してください。
✨ 主な機能
モデル概要
- モデルアーキテクチャ:google/gemma-3-27b-it
- 入力:ビジュアル - テキスト
- 出力:テキスト
- モデル最適化:
- 重み量子化:INT4
- 活性化量子化:FP16
- 公開日:2025 年 4 月 6 日
- バージョン:1.0
- モデル開発者:RedHatAI
モデル最適化
このモデルは google/gemma-3-27b-it の重みを INT4 データ型に量子化することで得られます。vLLM >= 0.8.0 を使用して推論できます。
💻 使用例
基本的な使用法
from vllm import LLM, SamplingParams
from vllm.assets.image import ImageAsset
from transformers import AutoProcessor
# Define model name once
model_name = "RedHatAI/gemma-3-27b-it-quantized.w4a16"
# Load image and processor
image = ImageAsset("cherry_blossom").pil_image.convert("RGB")
processor = AutoProcessor.from_pretrained(model_name, trust_remote_code=True)
# Build multimodal prompt
chat = [
{"role": "user", "content": [{"type": "image"}, {"type": "text", "text": "What is the content of this image?"}]},
{"role": "assistant", "content": []}
]
prompt = processor.apply_chat_template(chat, add_generation_prompt=True)
# Initialize model
llm = LLM(model=model_name, trust_remote_code=True)
# Run inference
inputs = {"prompt": prompt, "multi_modal_data": {"image": [image]}}
outputs = llm.generate(inputs, SamplingParams(temperature=0.2, max_tokens=64))
# Display result
print("RESPONSE:", outputs[0].outputs[0].text)
🔧 技術詳細
モデル作成
このモデルは llm-compressor を使用して作成されました。以下はコードです。
モデル作成コード
import base64
from io import BytesIO
import torch
from datasets import load_dataset
from transformers import AutoProcessor, Gemma3ForConditionalGeneration
from llmcompressor.modifiers.quantization import GPTQModifier
from llmcompressor.transformers import oneshot
# Load model.
model_id = "google/gemma-3-27b-it"
model = Gemma3ForConditionalGeneration.from_pretrained(
model_id,
device_map="auto",
torch_dtype="auto",
)
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
# Oneshot arguments
DATASET_ID = "neuralmagic/calibration"
DATASET_SPLIT = {"LLM": "train[:1024]"}
NUM_CALIBRATION_SAMPLES = 1024
MAX_SEQUENCE_LENGTH = 2048
# Load dataset and preprocess.
ds = load_dataset(DATASET_ID, split=DATASET_SPLIT)
ds = ds.shuffle(seed=42)
dampening_frac=0.07
def data_collator(batch):
assert len(batch) == 1, "Only batch size of 1 is supported for calibration"
item = batch[0]
collated = {}
import torch
for key, value in item.items():
if isinstance(value, torch.Tensor):
collated[key] = value.unsqueeze(0)
elif isinstance(value, list) and isinstance(value[0][0], int):
# Handle tokenized inputs like input_ids, attention_mask
collated[key] = torch.tensor(value)
elif isinstance(value, list) and isinstance(value[0][0], float):
# Handle possible float sequences
collated[key] = torch.tensor(value)
elif isinstance(value, list) and isinstance(value[0][0], torch.Tensor):
# Handle batched image data (e.g., pixel_values as [C, H, W])
collated[key] = torch.stack(value) # -> [1, C, H, W]
elif isinstance(value, torch.Tensor):
collated[key] = value
else:
print(f"[WARN] Unrecognized type in collator for key={key}, type={type(value)}")
return collated
# Recipe
recipe = [
GPTQModifier(
targets="Linear",
ignore=["re:.*lm_head.*", "re:.*embed_tokens.*", "re:vision_tower.*", "re:multi_modal_projector.*"],
sequential_update=True,
sequential_targets=["Gemma3DecoderLayer"],
dampening_frac=dampening_frac,
)
]
SAVE_DIR=f"{model_id.split('/')[1]}-quantized.w4a16"
# Perform oneshot
oneshot(
model=model,
tokenizer=model_id,
dataset=ds,
recipe=recipe,
max_seq_length=MAX_SEQUENCE_LENGTH,
num_calibration_samples=NUM_CALIBRATION_SAMPLES,
trust_remote_code_model=True,
data_collator=data_collator,
output_dir=SAVE_DIR
)
モデル評価
このモデルは lm_evaluation_harness を使用して OpenLLM v1 テキストベンチマークを行いました。評価コマンドは以下の通りです。
評価コマンド
OpenLLM v1
lm_eval \
--model vllm \
--model_args pretrained="<model_name>",dtype=auto,add_bos_token=True,max_model_len=4096,tensor_parallel_size=<n>,gpu_memory_utilization=0.8,enable_chunked_prefill=True,trust_remote_code=True,enforce_eager=True \
--tasks openllm \
--batch_size auto
正解率
カテゴリ | 指標 | google/gemma-3-27b-it | RedHatAI/gemma-3-27b-it-quantized.w8a8 | 回復率 (%) |
---|---|---|---|---|
OpenLLM V1 | ARC Challenge | 72.53% | 72.35% | 99.76% |
OpenLLM V1 | GSM8K | 92.12% | 91.66% | 99.51% |
OpenLLM V1 | Hellaswag | 85.78% | 84.97% | 99.06% |
OpenLLM V1 | MMLU | 77.53% | 76.77% | 99.02% |
OpenLLM V1 | Truthfulqa (mc2) | 62.20% | 62.57% | 100.59% |
OpenLLM V1 | Winogrande | 79.40% | 79.79%% | 100.50% |
OpenLLM V1 | 平均スコア | 78.26% | 78.02% | 99.70% |
ビジュアル評価 | MMMU (val) | 50.89% | 51.78% | 101.75% |
ビジュアル評価 | ChartQA | 72.16% | 72.20% | 100.06% |
ビジュアル評価 | 平均スコア | 61.53% | 61.99% | 100.90% |
📄 ライセンス
このモデルは gemma ライセンスを使用しています。
Clip Vit Large Patch14
CLIPはOpenAIによって開発された視覚-言語モデルで、コントラスティブラーニングを通じて画像とテキストを共有の埋め込み空間にマッピングし、ゼロショット画像分類をサポートします
画像生成テキスト
C
openai
44.7M
1,710
Clip Vit Base Patch32
CLIPはOpenAIが開発したマルチモーダルモデルで、画像とテキストの関係を理解し、ゼロショット画像分類タスクをサポートします。
画像生成テキスト
C
openai
14.0M
666
Siglip So400m Patch14 384
Apache-2.0
SigLIPはWebLiデータセットで事前学習された視覚言語モデルで、改良されたシグモイド損失関数を採用し、画像-テキストマッチングタスクを最適化しています。
画像生成テキスト
Transformers

S
google
6.1M
526
Clip Vit Base Patch16
CLIPはOpenAIが開発したマルチモーダルモデルで、コントラスティブラーニングにより画像とテキストを共有の埋め込み空間にマッピングし、ゼロショット画像分類能力を実現します。
画像生成テキスト
C
openai
4.6M
119
Blip Image Captioning Base
Bsd-3-clause
BLIPは先進的な視覚-言語事前学習モデルで、画像キャプション生成タスクに優れており、条件付きおよび無条件のテキスト生成をサポートします。
画像生成テキスト
Transformers

B
Salesforce
2.8M
688
Blip Image Captioning Large
Bsd-3-clause
BLIPは統一された視覚-言語事前学習フレームワークで、画像キャプション生成タスクに優れており、条件付きおよび無条件の画像キャプション生成をサポートします。
画像生成テキスト
Transformers

B
Salesforce
2.5M
1,312
Openvla 7b
MIT
OpenVLA 7BはOpen X-Embodimentデータセットでトレーニングされたオープンソースの視覚-言語-動作モデルで、言語命令とカメラ画像に基づいてロボットの動作を生成できます。
画像生成テキスト
Transformers 英語

O
openvla
1.7M
108
Llava V1.5 7b
LLaVAはオープンソースのマルチモーダルチャットボットで、LLaMA/Vicunaをファインチューニングし、画像とテキストのインタラクションをサポートします。
画像生成テキスト
Transformers

L
liuhaotian
1.4M
448
Vit Gpt2 Image Captioning
Apache-2.0
これはViTとGPT2アーキテクチャに基づく画像記述生成モデルで、入力画像に対して自然言語の記述を生成することができます。
画像生成テキスト
Transformers

V
nlpconnect
939.88k
887
Blip2 Opt 2.7b
MIT
BLIP-2は画像エンコーダーと大規模言語モデルを組み合わせた視覚言語モデルで、画像からテキストを生成するタスクに使用されます。
画像生成テキスト
Transformers 英語

B
Salesforce
867.78k
359
おすすめAIモデル
Llama 3 Typhoon V1.5x 8b Instruct
タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化
大規模言語モデル
Transformers 複数言語対応

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2%です。
対話システム
Transformers 英語

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。
質問応答システム 中国語
R
uer
2,694
98