AIBase
ZH
模型兼容性检测
检查你的设备是否能运行不同规模的模型
企业部署服务器配置计算器
计算企业部署所需的服务器配置

部署参数配置

个人开发
适合个人开发者或小型项目
团队协作
适合中小型团队使用
生产环境
适合企业级生产部署
研究研发
适合大规模模型研究
1

模型参数与量化类型

模型参数量
DeepSeek 7B
DeepSeek 14B
DeepSeek 32B
DeepSeek 70B
DeepSeek R1 671B
量化类型
FP32(32-bit)
BF16(16-bit)
FP16(16-bit)
FP8(8-bit)
INT8(8-bit)
INT4(4-bit)
2

运行参数配置

序列长度: 32768
1K32K64K96K128K
批次大小: 32
1163264128
GPU数量: 8
1816324864

GPU显存分布

GPU 0
GPU 1
GPU 2
GPU 3
GPU 4
GPU 5
GPU 6
GPU 7
0.0GB
1.0GB
2.0GB
3.0GB
4.0GB
5.0GB
6.0GB
7.0GB
8.0GB
9.0GB
10.0GB
框架固定开销 (1.00GB)
模型参数 (7.00GB)
激活值 (0.70GB)
输出张量 (1.16GB)

模型详情

隐藏层维度:8192
层数:80
注意力头数:64
KV头数:8
最大位置编码:32768
词表大小:128256
每层参数量:875.0M
总参数呈计算:70000M
注意力维度:128
FFN扩展比:3.50x
GQA比例:8.0:1

推荐配置

硬件配置
选择可用GPU
当前量化: FP8
选择GPU型号
已选择的GPU
组件推荐配置
GPU8×NVIDIA RTX 4090 (24GB)
CPUAMD EPYC 7543 / Intel Xeon Silver 4314 32核64线程
内存42GB DDR5 ECC-5600MHz Quad Channel
网络25Gbps (网络) + 64GB/s (PCIe) + 900GB/s (NVLink) 25Gb 以太网
存储245.71GB NVMe RAID
优化方案FlashAttention-2 + INT8/8bit/FP8量化 + ZeRO-2

GPU兼容性检查

暂无兼容性数据，请手动选择GPU

计算结果
框架固定开销
1.00 GB
框架初始化开销
模型参数
8.75 GB
参数量 70 B × 精度 FP8(1 bytes) ÷ GPU数量 8 = 8.75 GB/GPU
激活值
2.19 GB
模型参数 70.00 GB × 动态系数 0.25 ÷ GPU数量 8= 2.19 GB/GPU
输出张量
15.66 GB
批次大小 32 × 序列长度 32768 × 词表大小 128,256 × 1 bytes ÷ (1024³) ÷ GPU数量 8 = 15.66 GB/GPU
显存需求
220.75 GB
系统总显存需求
框架固定开销: 8.00 GB + 总参数量: 70.00 GB + 总激活值: 17.50 GB + 总输出张量: 125.25 GB = 220.75 GB
27.59 GB
每GPU显存需求
框架固定开销 1.00 GB + 参数量/GPU 8.75 GB + 激活值/GPU 2.19 GB + 输出张量/GPU 15.66 GB = 27.59 GB
AIBase
智启未来，您的人工智能解决方案智库
English简体中文繁體中文にほんご
© 2025AIBase