# float8量化

Phi-4-mini-instruct模型经torchao进行float8动态激活和权重量化，在H100上实现36%显存降低和15-20%速度提升，几乎不影响精度。