%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
モデル互換性テスト
お使いのデバイスが異なる規模のモデルを実行できるかチェック
企業展開サーバー構成計算機
企業展開に必要なサーバー構成を計算
デプロイメントパラメータ設定
個人開発
個人開発者や小規模プロジェクトに適している
チーム協力
中小規模チームに適している
本番環境
企業レベルの本番デプロイメントに適している
研究開発
大規模モデル研究に適している
1
モデルパラメータと量子化タイプ
モデルパラメータ
DeepSeek 7B
DeepSeek 14B
DeepSeek 32B
DeepSeek 70B
DeepSeek R1 671B
量子化タイプ
FP32(32-bit)
BF16(16-bit)
FP16(16-bit)
FP8(8-bit)
INT8(8-bit)
INT4(4-bit)
2
ランタイムパラメータ設定
シーケンス長: 32768
バッチサイズ: 32
GPU数: 8
GPUメモリ分布
モデル詳細
隠れ層次元:8192
層数:80
アテンションヘッド数:64
KVヘッド数:8
最大位置エンコーディング:32768
語彙サイズ:128256
層あたりのパラメータ数:875.0M
総パラメータ計算:70000M
アテンション次元:128
FFN拡張比:3.50x
GQA比率:8.0:1
推奨設定
ハードウェア設定
利用可能なGPUを選択
現在の量子化: FP8
GPUモデルを選択
選択されたGPU
| コンポーネント | 推奨設定 |
|---|---|
| GPU | 8×NVIDIA RTX 4090 (24GB) |
| CPU | AMD EPYC 7543 / Intel Xeon Silver 4314 32コア64スレッド |
| メモリ | 42GB DDR5 ECC-5600MHz Quad Channel |
| ネットワーク | 25Gbps (ネットワーク) + 64GB/s (PCIe) + 900GB/s (NVLink) 25Gb イーサネット |
| ストレージ | 245.71GB NVMe RAID |
| 最適化 | FlashAttention-2 + INT8/8bit/FP8量子化 + ZeRO-2 |
GPU互換性チェック
互換性データなし、GPUを手動で選択してください
計算結果
フレームワーク固定オーバーヘッド
1.00 GB
フレームワーク初期化オーバーヘッド
モデルパラメータ
8.75 GB
パラメータ数 70 B × 精度 FP8(1 bytes) ÷ GPU数 8 = 8.75 GB/GPU
アクティベーション
2.19 GB
モデルパラメータ 70.00 GB × 動的係数 0.25 ÷ GPU数 8= 2.19 GB/GPU
出力テンソル
15.66 GB
バッチサイズ 32 × シーケンス長 32768 × 語彙サイズ 128,256 × 1 bytes ÷ (1024³) ÷ GPU数 8 = 15.66 GB/GPU
メモリ要件
220.75 GB
システム総メモリ要件
フレームワーク固定オーバーヘッド: 8.00 GB + 総パラメータ数: 70.00 GB + 総アクティベーション: 17.50 GB + 総出力テンソル: 125.25 GB = 220.75 GB
27.59 GB
GPUあたりメモリ要件
フレームワーク固定オーバーヘッド 1.00 GB + パラメータ数/GPU 8.75 GB + アクティベーション/GPU 2.19 GB + 出力テンソル/GPU 15.66 GB = 27.59 GB