# vLLM最適化

Gemma 3 4b It Quantized.w4a16
google/gemma-3-4b-itに基づく量子化バージョンで、INT4重み量子化とFP16活性化量子化を採用し、推論効率を最適化しています。
画像生成テキスト Transformers
G
RedHatAI
195
1
Bielik 4.5B V3.0 Instruct FP8 Dynamic
Apache-2.0
このモデルはBielik-4.5B-v3.0-InstructのFP8量子化バージョンで、AutoFP8技術により重みと活性化をFP8データ型に量子化し、ディスク容量とGPUメモリ要件を約50%削減します。
大規模言語モデル その他
B
speakleash
74
1
Qwq 32B INT8 W8A8
Apache-2.0
QWQ-32BのINT8量子化バージョン、重みと活性化のビット数を減らして性能を最適化
大規模言語モデル Transformers 英語
Q
ospatch
590
4
Qwq 32B FP8 Dynamic
MIT
QwQ-32BのFP8量子化バージョン、動的量子化技術により50%のストレージとメモリ要件を削減、99.75%の元のモデル精度を維持
大規模言語モデル Transformers
Q
RedHatAI
3,107
8
Whisper Large V3.w4a16
Apache-2.0
これはopenai/whisper-large-v3の量子化バージョンで、INT4重み量子化とFP16活性化量子化を採用し、vLLM推論に適しています。
音声認識 Transformers 英語
W
nm-testing
20
1
Qwen2.5 VL 3B Instruct Quantized.w8a8
Apache-2.0
Qwen/Qwen2.5-VL-3B-Instructの量子化バージョンで、視覚-テキスト入力とテキスト出力をサポートし、重みをINT8、活性化をINT8に量子化しています。
画像生成テキスト Transformers 英語
Q
RedHatAI
274
1
Pixtral 12b FP8 Dynamic
Apache-2.0
pixtral-12b-FP8-dynamicはmistral-community/pixtral-12bの量子化バージョンで、重みと活性化をFP8データ型に量子化することで、ディスク容量とGPUメモリの要件を約50%削減し、複数の言語の商用および研究用途に適しています。
テキスト生成画像 Safetensors 複数言語対応
P
RedHatAI
87.31k
9
Meta Llama 3.1 70B FP8
Meta-Llama-3.1-70BのFP8量子化バージョンで、多言語のビジネスや研究用途に適しており、重みと活性化をFP8形式で量子化することで、約50%のストレージとメモリ要件を削減します。
大規模言語モデル Transformers 複数言語対応
M
RedHatAI
191
2
Meta Llama 3.1 8B FP8
Meta-Llama-3.1-8BのFP8量子化バージョンで、多言語のビジネスや研究用途に適しています。
大規模言語モデル Transformers 複数言語対応
M
RedHatAI
4,154
7
Meta Llama 3.1 70B Instruct FP8
Meta-Llama-3.1-70B-InstructのFP8量子化バージョンで、多言語の商業および研究用途に適しており、特にアシスタントのようなチャットシナリオに最適です。
大規模言語モデル Transformers 複数言語対応
M
RedHatAI
71.73k
45
Deepseek Coder V2 Lite Instruct FP8
その他
DeepSeek-Coder-V2-Lite-InstructのFP8量子化バージョンで、英語の商用および研究用途に適しており、推論効率が最適化されています。
大規模言語モデル Transformers
D
RedHatAI
11.29k
7
Dolphin 2.9 Llama3 70b Awq
Dolphin 2.9 Llama3 70BのAWQ量子化バージョンで、vllmやその他の推論エンジンに適しています。
大規模言語モデル Transformers
D
julep-ai
19
5
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase