Omnigen2 Transformer DF11
模型概述
這是原始OmniGen2/OmniGen2模型的DFloat11無損壓縮版本,通過霍夫曼編碼對BFloat16模型權重的指數位進行壓縮,實現了模型大小的顯著減小,同時保持了原始模型的輸出精度和推理性能。
模型特點
無損壓縮
通過DFloat11壓縮技術,模型大小縮小32%,同時保持位級相同的輸出。
高效GPU推理
實現了高效的CUDA內核,支持在GPU上進行即時權重解壓縮,推理性能與原始模型相當。
霍夫曼編碼
對BFloat16模型權重的指數位進行無損壓縮,這些指數位具有很高的壓縮性。
模型能力
任意到任意生成
高效GPU推理
無損壓縮模型
使用案例
圖像生成
高分辨率圖像生成
支持1024×1024等高分辨率圖像的生成。
峰值GPU內存使用從18.41 GB降低到14.36 GB。
精選推薦AI模型
Llama 3 Typhoon V1.5x 8b Instruct
專為泰語設計的80億參數指令模型,性能媲美GPT-3.5-turbo,優化了應用場景、檢索增強生成、受限生成和推理任務
大型語言模型
Transformers 支持多種語言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一個基於SODA數據集訓練的超小型對話模型,專為邊緣設備推理設計,體積僅為Cosmo-3B模型的2%左右。
對話系統
Transformers 英語

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基於RoBERTa架構的中文抽取式問答模型,適用於從給定文本中提取答案的任務。
問答系統 中文
R
uer
2,694
98