# GPU高效推理

采用DFloat11无损压缩技术的BAGEL-7B-MoT模型，体积缩小32%的同时保持比特级输出一致

使用DFloat11格式对black-forest-labs/FLUX.1-Canny-dev进行无损压缩的版本，可降低GPU内存消耗约30%，同时保持与原始模型逐位相同的输出。

Paraformer 是一种创新的非自回归端到端语音识别模型，相比传统自回归模型具有显著优势，能够并行生成整句目标文本，特别适合利用GPU进行并行推理。

基于潜在扩散的放大模型，可将稳定扩散生成的图像分辨率提升2倍

GPT-J 6B是基于GPT-3架构设计的Transformer模型，具有60亿参数，支持文本生成任务。