Q

Qwen2.5 VL 72B Instruct Quantized.w4a16

RedHatAIによって開発
Qwen2.5-VL-72B-InstructのINT4重み量子化バージョンで、ビジュアル - テキスト入力とテキスト出力をサポートし、vLLMにより高効率推論を実現します。
ダウンロード数 1,328
リリース時間 : 2/7/2025

モデル概要

これは72Bパラメータのマルチモーダル大規模言語モデルの量子化バージョンで、ビジュアルとテキスト入力をサポートし、高効率推論用に最適化されています。

モデル特徴

高効率量子化
重みをINT4データ型に量子化し、活性化をFP16に量子化することで、計算リソースの要件を大幅に削減します。
マルチモーダルサポート
ビジュアルとテキスト入力を同時に処理し、テキスト応答を出力します。
高性能推論
vLLMにより高効率デプロイを実現し、単一流デプロイで3.95倍の加速、多流非同期デプロイで6.6倍の加速が可能です。
高精度維持
量子化後のモデルは、ビジュアルタスクで平均99.51%の元の精度を維持します。

モデル能力

画像内容理解
ビジュアルクイズアンサー
ドキュメント分析
グラフ理解
数学ビジュアル推論
多言語テキスト生成

使用事例

ビジュアルクイズアンサー
画像内容記述
画像内容を分析し、記述的なテキストを生成します。
VQAv2検証セットで81.87%の正解率を達成しました。
ドキュメント理解
ドキュメント画像を解析し、関連する質問に回答します。
DocVQA検証セットで94.72%のANLSスコアを達成しました。
ビジュアル推論
数学ビジュアル問題解決
数学公式とグラフを含む問題を解決します。
Mathvistaテストミニセットで77.68%の正解率を達成しました。
グラフ分析
グラフデータを解釈し、関連する質問に回答します。
ChartQAテストセットで88.96%の正解率を達成しました。
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase