G

Gemma 3 12b It Quantized.w8a8

Developed by RedHatAI
google/gemma-3-12b-itをベースとしたINT8量子化バージョンで、視覚テキスト入力とテキスト出力をサポートし、高効率推論デプロイに適しています。
Downloads 237
Release Time : 6/4/2025

Model Overview

これは量子化バージョンのマルチモーダルモデルで、Gemma-3-12b-itに対して重みの量子化処理を行っており、vLLMを利用して高効率にデプロイでき、視覚テキスト入力とテキスト出力のシナリオに適しています。

Model Features

高効率量子化
INT8重み量子化とINT8活性化量子化を採用し、モデルサイズとメモリ使用量を大幅に削減します。
マルチモーダルサポート
画像とテキストの同時入力をサポートし、クロスモーダル理解と生成を行います。
高効率推論
vLLMバックエンドを通じて高効率なデプロイを実現し、バッチ処理とストリーミング出力をサポートします。
高精度維持
量子化後のモデルは、複数のベンチマークテストで元のモデルに近い性能を維持します。

Model Capabilities

画像内容理解
マルチモーダル対話
テキスト生成
視覚質問応答

Use Cases

内容理解
画像説明生成
入力画像に基づいて自然言語の説明を生成します。
画像の主要な内容とシーンを正確に説明できます。
視覚質問応答
画像内容に関する自然言語の質問に回答します。
MMMUとChartQAベンチマークテストで良好な結果を示します。
スマートアシスタント
マルチモーダル対話
画像とテキストの入力を組み合わせて自然な対話を行います。
画像のコンテキストを理解し、関連する返答を生成できます。
AIbase
Empowering the Future, Your AI Solution Knowledge Base
© 2025AIbase