# FP8量化

基于Qwen2.5-VL-32B-Instruct模型的FP8量化版本，支持视觉-文本输入和文本输出，适用于高效推理场景。

Qwen3-235B-A22B模型的FP8量化版本，有效降低GPU内存需求，提高计算吞吐量，适用于多种自然语言处理场景。

该模型是Bielik-4.5B-v3.0-Instruct的FP8量化版本，通过AutoFP8技术将权重和激活量化为FP8数据类型，减少约50%的磁盘空间和GPU内存需求。

这是一个基于Bielik-1.5B-v3.0-Instruct模型的FP8动态量化版本，适配vLLM或SGLang推理框架，通过AutoFP8量化技术将参数字节数从16位降至8位，显著降低磁盘空间和GPU显存需求。

Qwen3-30B-A3B-FP8-dynamic是基于Qwen3-30B-A3B模型通过FP8量化优化的版本，显著降低了内存需求和计算成本，同时保持了原始模型的高准确率。

Qwen3-8B-FP8-dynamic是基于Qwen3-8B模型通过FP8量化优化的版本，显著降低了GPU内存需求和磁盘空间占用，同时保持了原始模型的性能。

基于Qwen3-32B进行FP8动态量化的高效语言模型，显著降低内存需求并提升计算效率

Qwen3是通义千问系列最新一代大语言模型，提供稠密模型和混合专家(MoE)模型的完整套件。基于大规模训练，Qwen3在推理、指令遵循、智能体能力和多语言支持方面取得突破性进展。

这是google/gemma-3-27b-it的量化版本，采用FP8数据类型对权重进行量化，适用于视觉-文本输入并输出文本，可借助vLLM高效部署进行推理。

Qwen3-0.6B-FP8是通义千问系列大语言模型的最新版本，提供0.6B参数的FP8量化版本，支持思维模式自由切换和多种语言任务。

这是Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro-2.0模型的FP8量化版本，通过PyTorch原生FP8支持从原始BFloat16格式量化而来，优化了推理性能。

这是一个基于Mistral3架构的24B参数条件生成模型，经过FP8动态量化优化，适用于多语言文本生成和视觉理解任务。

QwQ-32B-FP8 是 QwQ-32B 模型的 FP8 量化版本，保持了与 BF16 版本几乎相同的准确率，同时支持更快的推理速度。

QwQ-32B的FP8量化版本，通过动态量化技术减少50%存储和内存需求，同时保持99.75%的原模型精度

QwQ-32B的FP8量化版本，通过动态量化技术减少50%存储和内存需求，同时保持99.75%的原始模型精度

Qwen2.5-VL-7B-Instruct的FP8量化版本，通过vLLM支持高效视觉-文本推理

Qwen2.5-VL-3B-Instruct的FP8量化版本，支持视觉-文本输入和文本输出，优化了推理效率。

DeepSeek-R1-Distill-Llama-70B的FP8量化版本，通过减少权重和激活的位数来优化推理性能

Flex.1-alpha-Fp8 是基于 Flex.1-alpha 模型的 safetensors 格式的 float8_e4m3fn 权重版本，适用于文本生成图像任务。

Stable Diffusion 3.5 Large 的 FP8 量化版本，用于文本到图像的生成任务。

Bamba-9B 是基于 Mamba-2 架构的解码器专用语言模型，经过两阶段训练，擅长处理广泛的文本生成任务。

pixtral-12b-FP8-dynamic 是 mistral-community/pixtral-12b 的量化版本，通过将权重和激活量化为 FP8 数据类型，减少磁盘大小和 GPU 内存需求约 50%，适用于多种语言的商业和研究用途。

Llama-3.2-1B-Instruct的FP8量化版本，适用于多语言场景的商业和研究用途，性能接近原始模型。

Llama-3.2-3B-Instruct的FP8量化版本，适用于多语言的商业和研究用途，特别适合类似助手的聊天场景。

这是一个基于Llama-3.2-11B-Vision-Instruct的量化模型，适用于多语言的商业和研究用途，可用于类似助手的聊天场景。

Meta-Llama-3.1-70B的FP8量化版本，适用于多语言的商业和研究用途，权重和激活均量化为FP8格式，减少约50%的存储和内存需求。

Meta-Llama-3.1-8B的FP8量化版本，适用于多种语言的商业和研究用途。

Meta-Llama-3.1-70B-Instruct的FP8量化版本，适用于多语言的商业和研究用途，特别适合类似助手的聊天场景。

Meta-Llama-3.1-8B-Instruct的FP8量化版本，适用于多语言的商业和研究用途，特别优化用于类似助手的聊天场景。

DeepSeek-Coder-V2-Lite-Instruct的FP8量化版本，适用于英语的商业和研究用途，优化了推理效率。

Meta-Llama-3-70B-Instruct-FP8 是 Meta-Llama-3-70B-Instruct 的量化版本，通过 FP8 量化减少磁盘大小和 GPU 内存需求，同时保持高性能，适用于英文的商业和研究用途。