# FP8量化

基於Qwen2.5-VL-32B-Instruct模型的FP8量化版本，支持視覺-文本輸入和文本輸出，適用於高效推理場景。

Qwen3-235B-A22B模型的FP8量化版本，有效降低GPU內存需求，提高計算吞吐量，適用於多種自然語言處理場景。

該模型是Bielik-4.5B-v3.0-Instruct的FP8量化版本，通過AutoFP8技術將權重和激活量化為FP8數據類型，減少約50%的磁盤空間和GPU內存需求。

這是一個基於Bielik-1.5B-v3.0-Instruct模型的FP8動態量化版本，適配vLLM或SGLang推理框架，通過AutoFP8量化技術將參數字節數從16位降至8位，顯著降低磁盤空間和GPU顯存需求。

Qwen3-30B-A3B-FP8-dynamic是基於Qwen3-30B-A3B模型通過FP8量化優化的版本，顯著降低了內存需求和計算成本，同時保持了原始模型的高準確率。

Qwen3-8B-FP8-dynamic是基於Qwen3-8B模型通過FP8量化優化的版本，顯著降低了GPU內存需求和磁盤空間佔用，同時保持了原始模型的性能。

基於Qwen3-32B進行FP8動態量化的高效語言模型，顯著降低內存需求並提升計算效率

Qwen3是通義千問系列最新一代大語言模型，提供稠密模型和混合專家(MoE)模型的完整套件。基於大規模訓練，Qwen3在推理、指令遵循、智能體能力和多語言支持方面取得突破性進展。

這是google/gemma-3-27b-it的量化版本，採用FP8數據類型對權重進行量化，適用於視覺-文本輸入並輸出文本，可藉助vLLM高效部署進行推理。

Qwen3-0.6B-FP8是通義千問系列大語言模型的最新版本，提供0.6B參數的FP8量化版本，支持思維模式自由切換和多種語言任務。

這是Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro-2.0模型的FP8量化版本，通過PyTorch原生FP8支持從原始BFloat16格式量化而來，優化了推理性能。

這是一個基於Mistral3架構的24B參數條件生成模型，經過FP8動態量化優化，適用於多語言文本生成和視覺理解任務。

QwQ-32B-FP8 是 QwQ-32B 模型的 FP8 量化版本，保持了與 BF16 版本幾乎相同的準確率，同時支持更快的推理速度。

QwQ-32B的FP8量化版本，通過動態量化技術減少50%存儲和內存需求，同時保持99.75%的原模型精度

QwQ-32B的FP8量化版本，通過動態量化技術減少50%存儲和內存需求，同時保持99.75%的原始模型精度

Qwen2.5-VL-7B-Instruct的FP8量化版本，通過vLLM支持高效視覺-文本推理

Qwen2.5-VL-3B-Instruct的FP8量化版本，支持視覺-文本輸入和文本輸出，優化了推理效率。

DeepSeek-R1-Distill-Llama-70B的FP8量化版本，通過減少權重和激活的位數來優化推理性能

Flex.1-alpha-Fp8 是基於 Flex.1-alpha 模型的 safetensors 格式的 float8_e4m3fn 權重版本，適用於文本生成圖像任務。

Stable Diffusion 3.5 Large 的 FP8 量化版本，用於文本到圖像的生成任務。

Bamba-9B 是基於 Mamba-2 架構的解碼器專用語言模型，經過兩階段訓練，擅長處理廣泛的文本生成任務。

pixtral-12b-FP8-dynamic 是 mistral-community/pixtral-12b 的量化版本，通過將權重和激活量化為 FP8 數據類型，減少磁盤大小和 GPU 內存需求約 50%，適用於多種語言的商業和研究用途。

Llama-3.2-1B-Instruct的FP8量化版本，適用於多語言場景的商業和研究用途，性能接近原始模型。

Llama-3.2-3B-Instruct的FP8量化版本，適用於多語言的商業和研究用途，特別適合類似助手的聊天場景。

這是一個基於Llama-3.2-11B-Vision-Instruct的量化模型，適用於多語言的商業和研究用途，可用於類似助手的聊天場景。

Meta-Llama-3.1-70B的FP8量化版本，適用於多語言的商業和研究用途，權重和激活均量化為FP8格式，減少約50%的存儲和內存需求。

Meta-Llama-3.1-8B的FP8量化版本，適用於多種語言的商業和研究用途。

Meta-Llama-3.1-70B-Instruct的FP8量化版本，適用於多語言的商業和研究用途，特別適合類似助手的聊天場景。

Meta-Llama-3.1-8B-Instruct的FP8量化版本，適用於多語言的商業和研究用途，特別優化用於類似助手的聊天場景。

DeepSeek-Coder-V2-Lite-Instruct的FP8量化版本，適用於英語的商業和研究用途，優化了推理效率。

Meta-Llama-3-70B-Instruct-FP8 是 Meta-Llama-3-70B-Instruct 的量化版本，通過 FP8 量化減少磁盤大小和 GPU 內存需求，同時保持高性能，適用於英文的商業和研究用途。