AIBase
TW
模型相容性檢測
檢查您的設備是否能運行不同規模的模型
企業部署伺服器配置計算器
計算企業部署所需的伺服器配置

部署參數配置

個人開發
適合個人開發者或小型專案
團隊協作
適合中小型團隊使用
生產環境
適合企業級生產部署
研究研發
適合大規模模型研究
1

模型參數與量化類型

模型參數量
DeepSeek 7B
DeepSeek 14B
DeepSeek 32B
DeepSeek 70B
DeepSeek R1 671B
量化類型
FP32(32-bit)
BF16(16-bit)
FP16(16-bit)
FP8(8-bit)
INT8(8-bit)
INT4(4-bit)
2

運行參數配置

序列長度: 32768
1K32K64K96K128K
批次大小: 32
1163264128
GPU數量: 8
1816324864

GPU顯存分布

GPU 0
GPU 1
GPU 2
GPU 3
GPU 4
GPU 5
GPU 6
GPU 7
0.0GB
1.0GB
2.0GB
3.0GB
4.0GB
5.0GB
6.0GB
7.0GB
8.0GB
9.0GB
10.0GB
框架固定開銷 (1.00GB)
模型參數 (7.00GB)
激活值 (0.70GB)
輸出張量 (1.16GB)

模型詳情

隱藏層維度:8192
層數:80
注意力頭數:64
KV頭數:8
最大位置編碼:32768
詞表大小:128256
每層參數量:875.0M
總參數呈計算:70000M
注意力維度:128
FFN擴展比:3.50x
GQA比例:8.0:1

推薦配置

硬體配置
選擇可用GPU
當前量化: FP8
選擇GPU型號
已選擇的GPU
組件推薦配置
GPU8×NVIDIA RTX 4090 (24GB)
CPUAMD EPYC 7543 / Intel Xeon Silver 4314 32核心64執行緒
記憶體42GB DDR5 ECC-5600MHz Quad Channel
網路25Gbps (网络) + 64GB/s (PCIe) + 900GB/s (NVLink) 25Gb 乙太網路
儲存245.71GB NVMe RAID
優化方案FlashAttention-2 + INT8/8bit/FP8量化 + ZeRO-2

GPU相容性檢查

暫無相容性資料，請手動選擇GPU

計算結果
框架固定開銷
1.00 GB
框架初始化開銷
模型參數
8.75 GB
參數量 70 B × 精度 FP8(1 bytes) ÷ GPU數量 8 = 8.75 GB/GPU
激活值
2.19 GB
模型參數 70.00 GB × 動態係數 0.25 ÷ GPU數量 8= 2.19 GB/GPU
輸出張量
15.66 GB
批次大小 32 × 序列長度 32768 × 詞表大小 128,256 × 1 bytes ÷ (1024³) ÷ GPU數量 8 = 15.66 GB/GPU
顯存需求
220.75 GB
系統總顯存需求
框架固定開銷: 8.00 GB + 總參數量: 70.00 GB + 總激活值: 17.50 GB + 總輸出張量: 125.25 GB = 220.75 GB
27.59 GB
每GPU顯存需求
框架固定開銷 1.00 GB + 參數量/GPU 8.75 GB + 激活值/GPU 2.19 GB + 輸出張量/GPU 15.66 GB = 27.59 GB
AIBase
智啟未來，您的人工智能解決方案智庫
English简体中文繁體中文にほんご
© 2025AIBase