P6e-GB300UltraServer训练推理0 个尺寸
P6e-GB300 = NVIDIA GB300 NVL72 UltraServer(Blackwell Ultra)
Amazon EC2 P6e-GB300 UltraServers · NVIDIA
- 加速器
- NVIDIA GB300 NVL72(Grace Blackwell Ultra 超级芯片:2×Blackwell Ultra GPU + 1×Grace CPU)
- 显存类型
- 未公开(官方仅称 GPU 显存为 P6e-GB200 的 1.5 倍,每 UltraServer 接近 20 TB)
- 显存带宽
- 未公开
- 互联
- NVLink(NVL72 域);Grace↔GPU 用 NVLink-C2C
- GPUDirect RDMA
- 未公开
- EFA
- EFAv4
- UltraCluster / UltraServer
- EC2 UltraClusters;仅以 UltraServer 形式提供
- 用途
- 万亿参数级模型、长上下文推理、推理/Agentic AI
EC2 规格文档与 describe-instance-types 暂未列出该家族的实例尺寸——单实例 vCPU / 内存 / 网络等规格未公开。
- EC2 规格文档(ac.html)尚未列出 P6e-GB300 的实例尺寸,单实例 vCPU/内存/网络等规格未公开。
- 官方:1.5× GPU 显存、1.5× FP4 算力(无稀疏)对比 P6e-GB200;需联系 AWS 销售获取。
P6e-GB200UltraServer训练推理1 个尺寸
P6e-GB200 = NVIDIA GB200 NVL72,UltraServer 最多 72×B200
Amazon EC2 P6e-GB200 UltraServers · NVIDIA
- 加速器
- NVIDIA GB200 NVL72(Grace Blackwell 超级芯片:2×B200 + 1×Grace CPU)
- 显存类型
- HBM3e(每超级芯片最高 372 GB)
- 显存带宽
- 未公开
- 互联
- 第五代 NVLink;UltraServer 内最高 130 TB/s NVLink;Grace↔GPU 用 NVLink-C2C
- GPUDirect RDMA
- 未公开
- EFA
- EFAv4,每 GPU 400 Gbps,UltraServer 合计 28.8 Tbps
- UltraCluster / UltraServer
- EC2 UltraClusters;实例只能以 UltraServer 形式购买
- 用途
- 数万亿参数前沿模型训练与部署、MoE、推理模型
| 实例 | 加速器 | 加速器显存 | vCPU / CPU | 内存 | 网络 | EFA | 本地存储 | EBS 带宽 | 可用区域 |
p6e-gb200.36xlarge | 4 x NVIDIA B200 GPU | 740 GiB每卡 185 GiB | 144Nvidia Grace CPU | 960 GiB | 3200 Gigabit17 张网卡 | ✓ | 3 x 7500 GBNVMe SSD | 60 Gbps | API 未返回 |
- UltraServer:72 GPU 单 NVLink 域,360 PFLOPS FP8(无稀疏),13.4 TB HBM3e。
P6-B200当前代训练推理1 个尺寸
P6-B200 = 8×NVIDIA B200 · 1,432 GB HBM3e
Amazon EC2 P6-B200 · NVIDIA
- 加速器
- NVIDIA B200(Blackwell)
- 显存类型
- HBM3e
- 显存带宽
- 官方称为 P5en 的 1.6 倍(未给绝对值)
- 互联
- 第五代 NVLink,每 GPU 1.8 TB/s,实例合计 14.4 TB/s 双向
- GPUDirect RDMA
- 未公开
- EFA
- EFAv4 3.2 Tbps
- UltraCluster / UltraServer
- EC2 UltraClusters(数万 GPU)
- 用途
- 前沿模型训练(MoE / 推理模型)、实时推理
| 实例 | 加速器 | 加速器显存 | vCPU / CPU | 内存 | 网络 | EFA | 本地存储 | EBS 带宽 | 可用区域 |
p6-b200.48xlarge | 8 x NVIDIA B200 GPU | 1432 GiB每卡 179 GiB | 192Intel Xeon Emerald Rapids · x86_64 | 2048 GiB | 3200 Gigabit8 张网卡 | ✓最多 8 个接口 | 8 x 3800 GBNVMe SSD | 100 Gbps | 6 个区域 |
- CPU:第五代 Intel Xeon(Emerald Rapids);本地 NVMe 30 TB。
P5当前代训练推理HPC2 个尺寸
P5 = 8×NVIDIA H100 80GB(另有 p5.4xlarge 单卡)
Amazon EC2 P5 · NVIDIA
- 加速器
- NVIDIA H100 Tensor Core
- 显存类型
- HBM3
- 显存带宽
- 未公开
- 互联
- NVSwitch 900 GB/s(实例内 3.6 TB/s 对分带宽);p5.4xlarge 无 GPU P2P
- GPUDirect RDMA
- 支持(p5.4xlarge 不支持)
- EFA
- 第二代 EFA 3,200 Gbps(p5.4xlarge 为 100 Gbps)
- UltraCluster / UltraServer
- EC2 UltraClusters,最多 20,000 GPU
- 用途
- 生成式 AI 训练/推理、HPC
| 实例 | 加速器 | 加速器显存 | vCPU / CPU | 内存 | 网络 | EFA | 本地存储 | EBS 带宽 | 可用区域 |
p5.4xlarge | 1 x NVIDIA H100 GPU | 80 GiB每卡 80 GiB | 16AMD EPYC 7R13 · x86_64 | 256 GiB | 100 Gigabit1 张网卡 | ✓最多 1 个接口 | 1 x 3800 GBNVMe SSD | 10 Gbps | 9 个区域 |
p5.48xlarge | 8 x NVIDIA H100 GPU | 640 GiB每卡 80 GiB | 192AMD EPYC 7R13 · x86_64 | 2048 GiB | 3200 Gigabit32 张网卡 | ✓最多 32 个接口 | 8 x 3800 GBNVMe SSD | 80 Gbps | 12 个区域 |