№ 03 · SECTION THREE · AI COMPUTE IS A SYSTEM, NOT A CHIP

算力系统

AI 算力 不是一颗 GPU,而是六层协同的系统——从计算到存储、从服务器到数据中心、从软件到调度。 每一层都决定景气弹性的一个侧面。只看 GPU,你会漏掉一半的产业链

一图看懂 AI 算力系统 Six layers · from GPU to rack to software

CHIP → SYSTEM → DATACENTER → SOFTWARE
HIGH-END AI RACK · SCHEMATIC 72 GPU · rack-scale · 百 kW 级 · 百万美元级 NVLink Switch · Level 1 NVLink Switch · Level 2 InfiniBand Uplink Liquid Cooling Manifold Power Distribution · PDU UPS · Grid Uplink SINGLE GPU CLOSE-UP GPU die HBM HBM CoWoS interposer LAYER 06 · SOFTWARE 软件生态层 · CUDA / ROCm / 框架 / 调度 LAYER 05 · DATA CENTER 数据中心层 · 供电 / 液冷 / PUE / 功率密度 LAYER 04 · INTERCONNECT 互联层 · NVLink / NVSwitch / IB / 光模块 LAYER 03 · SERVER 服务器层 · 计算托盘 / AI 服务器 / 整机柜 LAYER 02 · MEMORY 存储层 · HBM / DRAM / SSD / CXL LAYER 01 · COMPUTE 计算层 · GPU / ASIC / NPU / CPU ◆ LEGEND GPU die HBM NVLink Switch 液冷 电源 PDU ◆ KEY NUMBERS ◇ 形态:72 GPU 的 rack-scale 系统 ◇ 功率密度:百 kW 级(强制液冷) ◇ 价值量:百万美元级高价值机柜 ◇ 关键瓶颈:HBM · CoWoS · 互联 · 电力 · 液冷 ◇ 投资观察:GPU 出货 · HBM 供给 · 光模块订单 · 液冷渗透 高端 AI 机柜结构示意 · 图示按比例简化 · 实际含 CPU / SmartNIC / 交换 / 光模块 / 液冷单元
FROM GPU
TO DATA CENTER

一颗 GPU die 加上两侧的 HBM 堆栈,靠 CoWoS 硅中介层集成成一片芯片模组——GPU die 是计算层,紧贴它的 HBM 就是存储层
八片模组插到一块主板上,加上 CPU / SmartNIC / NVLink Switch,就是一台 DGX / MGX 服务器——这是服务器层。

12 台服务器(约 72 颗 GPU)竖着塞进一个整机柜(rack-scale system),靠 NVLink 交换机把这些 GPU 织成一个"超大 GPU 域"——这是互联层。
多个整机柜通过 InfiniBand / 800G 光模块接到 Spine 交换机,形成万卡集群——这仍是互联层的延伸。

整个集群塞进数据中心机房,靠液冷、PDU、UPS 供能——这是数据中心层。
最上面跑着 CUDA / PyTorch / 训练框架 / 调度器,让所有硬件资源变成可调度、可计费的算力——这是软件层。

只买 GPU,你只买了这栋楼的一块砖系统景气的钱,流经六层

01

计算层 Compute

GPU · CPU · ASIC · NPU · DPU · 交换芯片
决定 能算多快
算力供给的源头
算力的直接生产者。GPU / ASIC 是训练主力,NPU 走端侧低功耗,DPU / 交换芯片处理数据搬运。FLOPS 是这一层的核心指标
主线产品GPU / ASIC
1.1 GPUMAIN

GPU · 训练主力

通用并行架构 + 高显存带宽,训练大模型的默认选择。CUDA 生态是最大护城河。
代表NVIDIA H100/B200 · AMD MI300X
指标FP16/FP8 FLOPS · 显存 · TDP
1.2 ASIC / TPUVERTICAL

AI ASIC · 云厂定制

为特定工作负载定制的加速器。推理性价比优于 GPU,但通用性差。云厂商自研的主要方向。
代表Google TPU · AWS Trainium · MSFT Maia
指标每 Token 成本 · 推理吞吐
1.3 NPU / DPUEDGE / IO

NPU · DPU · 端侧 + 数据

NPU 走端侧推理,DPU 卸载网络与存储 IO。不是主战场,但决定端侧 AI 和集群效率
代表高通/苹果/联发科 NPU · NVIDIA BlueField DPU
指标TOPS/W · IO 卸载率
02

存储层 Memory

HBM · DRAM · NAND · SSD · CXL 内存
决定 能喂多快
AI 时代的命门
GPU 算得再快,也要有足够带宽的存储把数据喂进来。HBM 是当前最卡的一环——被 SK/美光/三星三家全部锁死。
HBM 三巨头SK · 美光 · 三星
2.1 HBMCRITICAL

HBM · 高带宽存储

紧贴 GPU 的高带宽存储——3D 堆叠 8-12 层 DRAM。HBM4 带宽 1.6 TB/s,是训练不缺数据的关键。
指标带宽 TB/s · 容量 · 良率
2.2 DRAM / SSDGENERAL

DRAM · 企业级 SSD · 系统内存

服务器主机内存和高速存储。DDR5 / 企业级 NVMe SSD 是 AI 服务器的标配,随集群扩张持续放量。
代表Samsung · SK · Micron · 铠侠
指标位元出货 · 合约价 · 库存周期
2.3 CXL 内存EMERGING

CXL 内存 · 池化扩展

让多台服务器共享 DRAM 池,解决 GPU 显存不够的痛点。当前仍在早期,但被视为 HBM 之后的下一战场。
代表Astera Labs · Rambus · 澜起科技
指标CXL 3.0 采用率 · 客户导入
03

服务器层 Server

计算托盘 · AI 服务器 · Rack-scale 整机柜
决定 能装多密
算力交付的物理形态
GPU 模组要装进机箱、机箱要装进机柜。Rack-scale 整机柜是当前 AI 的最高集成密度——单柜 72 颗 GPU 量级百 kW 级功率密度百万美元级价值量。产业链的钱从这一步开始向下游 ODM 分配。
单柜价值量百万美元级
3.1 GPU 服务器STANDARD

GPU 服务器 · 单机形态

4U / 8 GPU 的标准形态(如 DGX H100)。是过去两年 AI 硬件放量的主力载体。
代表Supermicro · Dell · HPE · 浪潮
指标单机 GPU 数 · ASP · 交付周期
3.2 Rack-scale 整机柜MAIN

Rack-scale 整机柜 · 集成密度上限

数十颗 GPU + NVLink Switch + 液冷预集成到一个机柜(NVL72 是代表形态)。当前 AI 训练最重要的产品形态。
代表工业富联 · 广达 · 纬创 · 英业达
指标机柜出货 · 功率密度 · 客户集中度
3.3 散热与电源SUPPORT

液冷 · 电源 · PCB · 系统支撑

高功率密度机柜逼出液冷强制渗透。电源密度从 kW 级升级到 100 kW 级别。PCB 层数与信号速率同步提升。
代表维谛 · 英维克 · 沪电 · 胜宏 · 生益
指标液冷渗透率 · 单柜电源价值 · PCB 层数
04

互联层 Interconnect

NVLink · NVSwitch · InfiniBand · 光模块 · CPO
决定 能连多广
万卡集群的血脉
大模型训练不是单卡竞争,是数据中心级互联竞争。GPU 之间要以 TB/s 级带宽通信,才能让梯度同步不成为瓶颈。光模块和交换芯片是这一层最纯的 AI Beta
高弹性环节光模块 · 交换
4.1 NVLink 域内SCALE-UP

NVLink / NVSwitch · GPU 直连

机柜内 72 颗 GPU通过 NVLink 直连成"单一 GPU 域"。NVIDIA 自研、生态封闭,是 GPU 差异化的重要维度。
指标域内带宽 · 域大小 · 代际升级
4.2 IB / 以太SCALE-OUT

InfiniBand / 以太 · 跨机柜

机柜之间通过 InfiniBand 或 RoCE 以太互连成万卡集群。Broadcom Tomahawk 交换芯片是核心。
代表NVIDIA Quantum IB · Broadcom · Arista
指标端口速率 · 集群规模 · 延迟
4.3 光模块 / CPOHIGH BETA

光模块 / 硅光 / CPO · 电信号 → 光信号

800G → 1.6T 光模块随集群扩容成倍放量。CPO(共封装光学)是下一代趋势,直接绑到交换芯片。
代表中际旭创 · 新易盛 · 光迅 · 天孚 · 源杰
指标800G/1.6T 出货 · 硅光渗透
05

数据中心层 Data Center

电力 · 液冷 · PUE · UPS · 机房建设
决定 能建多大
物理边界与真实约束
万卡集群不是"多买 GPU"就能建成——它需要几十兆瓦级的电力接入、专用液冷回路、24×7 UPS 保护。电力约束正在成为数据中心扩张的硬边界
硬边界电力 · 供电
5.1 电力供给HARD LIMIT

电力接入 · 硬边界

一座 100 MW 数据中心 = 一座小城市的用电。核电/气电项目周期长达数年,正在成为新集群选址的第一约束。
代表Vertiv · Schneider · Eaton · 维谛
指标电力接入速度 · 单柜功率 · PUE
5.2 液冷系统MAIN

液冷 · 100kW 单柜必备

风冷散热在 30 kW 单柜就到极限。百 kW 级单柜强制液冷——冷板 / 浸没式 / L2L / L2A 多路线并行。
代表Vertiv · 维谛 · 英维克 · 高澜 · 曙光数创
指标液冷渗透率 · 单柜液冷价值 · 良率
5.3 UPS / PDUSUPPORT

UPS · PDU · 配电 · 供电保护

机柜级到机房级的电力分配和不间断保护。功率密度提升让传统 UPS 升级为兆瓦级模块化系统。
代表Vertiv · Schneider · Eaton · 华为 · 科华
指标功率密度 · 效率 · 单柜价值
06

软件层 Software

CUDA · ROCm · AI 框架 · 调度 · 算力云
决定 能用多顺
硬件价值的乘数
所有硬件的价值都要经过软件才能兑现。CUDA 让 NVIDIA 从"卖芯片"变成"卖生态"。迁移成本 = 客户粘性 = 长期估值
最强壁垒CUDA 生态
6.1 CUDA / ROCmMOAT

驱动 & 计算生态 · 芯片的操作系统

CUDA 是 NVIDIA 最大的护城河——20 年开发者积累、几百万工程师、全部主流模型默认适配。ROCm 追赶中。
代表NVIDIA CUDA · AMD ROCm
指标开发者数 · 模型兼容 · 迁移成本
6.2 AI 框架FRAMEWORK

PyTorch · 推理框架 · 训练 / 推理入口

开发者写模型的入口。PyTorch 事实标准,推理侧 vLLM / TensorRT / SGLang 竞速。
代表PyTorch · TensorFlow · vLLM · TensorRT · SGLang
指标生态占有率 · GPU 利用率
6.3 调度 / 算力云MONETIZE

集群调度 · 算力云 · 硬件 → 可计费算力

把物理集群变成可租赁、可计费的算力商品。云厂商的核心利润来源之一,也是 GPU 二次分配的入口。
代表Azure · AWS · GCP · CoreWeave · Lambda · 阿里云 · 火山引擎
指标GPU 云价格 · 利用率 · 续约率

只看 GPU,你只看到 1/6
看懂六层,你才看到 整条产业链的钱怎么流。

— SYSTEM STACK · MAIN THREAD

回到首页 · 八模块全景

Silicon & Compute · Vol.001

回到首页