# GPU高效推理

採用DFloat11無損壓縮技術的BAGEL-7B-MoT模型，體積縮小32%的同時保持比特級輸出一致

使用DFloat11格式對black-forest-labs/FLUX.1-Canny-dev進行無損壓縮的版本，可降低GPU內存消耗約30%，同時保持與原始模型逐位相同的輸出。

Paraformer 是一種創新的非自迴歸端到端語音識別模型，相比傳統自迴歸模型具有顯著優勢，能夠並行生成整句目標文本，特別適合利用GPU進行並行推理。

基於潛在擴散的放大模型，可將穩定擴散生成的圖像分辨率提升2倍

GPT-J 6B是基於GPT-3架構設計的Transformer模型，具有60億參數，支持文本生成任務。