Omnigen2 Transformer DF11
模型简介
这是原始OmniGen2/OmniGen2模型的DFloat11无损压缩版本,通过霍夫曼编码对BFloat16模型权重的指数位进行压缩,实现了模型大小的显著减小,同时保持了原始模型的输出精度和推理性能。
模型特点
无损压缩
通过DFloat11压缩技术,模型大小缩小32%,同时保持位级相同的输出。
高效GPU推理
实现了高效的CUDA内核,支持在GPU上进行实时权重解压缩,推理性能与原始模型相当。
霍夫曼编码
对BFloat16模型权重的指数位进行无损压缩,这些指数位具有很高的压缩性。
模型能力
任意到任意生成
高效GPU推理
无损压缩模型
使用案例
图像生成
高分辨率图像生成
支持1024×1024等高分辨率图像的生成。
峰值GPU内存使用从18.41 GB降低到14.36 GB。
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98