№ 06 · SECTION SIX · WHO BUYS THE COMPUTE, AND WHY

需求场景

需求端拉开来看有四类：训练 · 推理 · 端侧 AI · 应用商业化。 训练拉高端 GPU 和 HBM，推理决定长期算力消耗，端侧走低功耗另一条路，商业化决定这一切能不能变成收入。 判断 AI 芯片景气能否持续，本质上是判断这四条需求线还能走多久。

训练 vs 推理 The two very different demand shapes

DEMAND · TRAIN vs INFER
◆ 维度
训练 · TRAIN / 一次投入
推理 · INFER / 持续消耗
算力需求
极高 FP16 / FP8 混合精度，一次训练需要数万 GPU 数月并行
中—高 FP8 / INT8 量化推理为主，吞吐比精度重要
存储需求
HBM 大容量 参数 + 梯度 + 优化器状态全部驻留 GPU，越大越好
KV cache 大 长上下文时显存被 KV cache 吃满，HBM 与 DRAM 高周转
带宽需求
极高 梯度同步全靠 NVLink + IB，互联带宽即天花板
高 单机内 NVLink 足够，跨机场景中 800G 以太即可
集群规模
万卡起 一个前沿模型训练动辄万卡 · 数万卡集群是未来趋势
单机—小集群 大多数场景 8 GPU 一台就够，大规模并发才需要集群
经济学
$/GPU-hour 主导 · 训练一个大模型 > 亿美元级 · 集中式 CAPEX 投入
$/Token 主导 · 单次调用几厘 · 持续经营性支出，规模效应
主力硬件
NVIDIA H100 · B200 · GB200 · AMD MI300X
H100 · L40S · Google TPU · AWS Trainium · Groq LPU · 云厂 ASIC
买单方
云厂商 · 大模型公司 · 主权 AI 项目
应用公司 · 云厂推理服务 · 大模型 API 消费方
未来趋势
前沿模型规模仍在膨胀 · Scaling Law 是否收敛是最大变量
指数级增长 · Agent / 长上下文 / 多模态推理量都在放大
HOW TO
READ THIS PAGE

过去两年 AI 芯片景气的发动机是训练——训练一个前沿大模型要花掉几十亿美元的 GPU。但训练是一次性投入，收敛之后新增需求就慢下来。

接下来接力棒会传给推理——推理是持续消耗，随着 AI 应用普及呈指数增长。推理需求的爆发或收敛，决定 AI 硬件景气的第二阶段。

再往下是端侧 AI（AI PC / 手机 / 车 / 机器人）和应用商业化——前者是新硬件形态、后者决定钱能不能真的流回产业链。四条需求线的走势，决定了这个行业的中期估值。

01

训练 Training

前沿大模型 · 万卡集群 · $/GPU-hour
拉动 高端 GPU / HBM
景气发动机 · 但周期性投入
◆
训练是集中式的巨额 CAPEX——大模型公司和云厂在建设期"一次性"下单几万到几十万颗 GPU。Scaling Law 是否继续，决定训练需求是否放缓。
主力买单方OpenAI / xAI / Anthropic · MSFT / AWS / GOOG / Meta
1.1 大模型预训练MAIN

大模型预训练 · Pre-training

从零训练一个基础模型，需要万卡以上的集群 · 数月周期。GPT/Claude/Gemini 都在这一阶段吃掉最多算力。
主要硬件H100 · B200 · GB200 · MI300X
看什么前沿模型参数规模 · 训练集群卡数 · Scaling Law 收敛信号
1.2 后训练 · RLHFSECONDARY

后训练 · RLHF · SFT · Post-training

在预训练基础上做指令微调 / 人类反馈强化学习 / 推理能力提升。算力需求比预训练小一个量级，但持续性更好。
主要硬件H100 · B200 · 少量集群
看什么推理模型（o1/R1 系列）计算范式 · RL 后训练算力占比
1.3 多模态 / 视频训练EMERGING

多模态 · 视频 · Multimodal

视频生成模型（Sora/Veo 系列）token 数远大于文本——单次训练算力可能超过文本大模型 10 倍。是训练需求的新增量。
主要硬件B200 · GB200 高端集群
看什么视频模型分辨率与时长 · 多模态数据规模
1.4 主权 AI · 国家级项目POLICY

主权 AI · Sovereign AI

各国政府和主权财富基金直接采购集群建设"国家算力"——中东、印度、日本、欧洲都在跟进。这是训练需求的结构性增量。
主要客户沙特 · 阿联酋 · 印度 · 日本 · 法国 · 加拿大
看什么主权采购公告 · 出口管制豁免 · 云厂 SLA 合同
02

推理 Inference

在线推理 · 长上下文 · Agent · $/Token
拉动 推理 GPU / ASIC / HBM
景气第二级火箭 · 持续性最强
◇
推理是持续经营性支出——每次用户调用都消耗算力。当前推理算力占比正在快速超过训练——这是 AI 芯片行业从"一次性建设"转向"长期放量"的关键。
经济锚点每 Token 成本
2.1 在线推理MAIN

在线推理 · Online Inference

聊天机器人 / API 服务的实时响应——低延迟、高并发。ChatGPT / Claude / 通义千问都在这一层烧钱。
主要硬件H100 · H200 · MI300X · TPU v5 · Trainium2
看什么Token 单价 · 每日调用量 · vLLM/TensorRT 优化
2.2 长上下文推理GROWTH

长上下文推理 · Long Context

上下文从 8K → 128K → 1M——KV cache 呈平方增长吃掉显存。用户想让模型"读完整份代码 / 一本书"，直接推高推理算力。
主要硬件HBM 大容量卡 · 高带宽存储
看什么上下文窗口 · KV cache 优化 · MoE 稀疏化进展
2.3 Agent 推理EMERGING

Agent 推理 · Agentic Inference

Agent 会反复调用大模型做规划 + 执行 + 反思——一次任务可能触发几十次推理。是推理需求 10 倍级放大器。
主要硬件推理集群 · 云 GPU 实例
看什么Agent 使用率 · 单任务推理次数 · Compute-as-Product
2.4 批量推理 / 后处理CHEAP

批量推理 · Batch Inference

离线批处理任务——数据标注 / 文档处理 / 视频转写。对延迟不敏感、对每 Token 成本极敏感，是云厂 ASIC / Trainium 的主战场。
主要硬件Trainium · TPU · Groq · Cerebras
看什么批处理单价 · ASIC 自用比例 · 云 GPU 实例利用率
03

端侧 AI Edge AI

AI PC · 手机 · 车 · 机器人 · 低功耗低成本
拉动 NPU / 车载 SoC
独立赛道 · 与云端硬件生态不同
▤
端侧关心低功耗、低成本、本地隐私——受益公司与云端 GPU 完全不同。手机 SoC、AI PC 处理器、车载 SoC 是三条独立赛道。
替代赛道高通 · 苹果 · 联发科 · 地平线
3.1 AI PCEMERGING

AI PC · 本地 Copilot

Windows/Mac 集成 本地 NPU——本地跑小模型、语音、翻译，隐私不出机。是 PC 换机周期的新驱动。
主要硬件Intel Lunar Lake · AMD Strix · 高通 X Elite · Apple M 系
看什么AI PC 渗透率 · Copilot+ 认证 · NPU TOPS/W
3.2 AI 手机MAIN

AI 手机 · On-device LLM

手机厂在 SoC 里塞 10~40 TOPS NPU——跑本地摘要 / 相册整理 / 语音助手。已成为高端手机差异化标配。
主要硬件Apple A/M 系 · 高通 8 Elite · 联发科 Dimensity 9400 · 华为麒麟
看什么高端手机出货 · 端侧模型能力 · LPDDR5X 采用
3.3 智能驾驶HIGH BETA

智能驾驶 · ADAS / Autonomous

L2+ 到 L4 自动驾驶所需的车载 AI SoC——推理算力从 30 TOPS 涨到 1000+ TOPS。车企定点是这条赛道核心变量。
主要硬件NVIDIA Orin/Thor · 地平线征程 · 黑芝麻 · Mobileye · Tesla FSD
看什么车企定点 · L3+ 商用节奏 · 单车 SoC 价值量
3.4 机器人 · 边缘 AIFUTURE

机器人 · 边缘 AI · Robotics & Edge

人形机器人 / 工业 AI / 边缘推理——硬件形态尚未收敛，但被普遍视为 AI 芯片的下一个大增长曲线。
主要硬件Jetson · Orin · 高通 RB 系 · 地平线
看什么人形机器人量产 · 工业 AI 渗透 · 边缘推理需求
04

应用商业化 Commercialization

AI 应用能不能变成收入 · 决定"景气兑现"
决定 需求能不能持续
景气逻辑的终点
◭
前三条需求线（训练 / 推理 / 端侧）的终极兑现——AI 应用必须能产生真实收入，才能让 CAPEX 循环下去。这一层决定行业是"泡沫"还是"长坡"。
检验标准企业付费 · 续费 · ROI
4.1 AI 编程 / 生产力PROVEN

AI 编程 · 生产力 · Copilot economy

GitHub Copilot / Cursor / Windsurf 类工具已经形成清晰的付费模式。是当前 AI 商业化最成功的一类。
代表产品Cursor · Copilot · Devin · Claude Code
看什么付费转化率 · 续费率 · 单用户 ARR · 推理成本占收入比
4.2 AI 搜索 / 客服MAIN

AI 搜索 · 客服 · Consumer AI

ChatGPT / Perplexity / 各家智能客服——C 端订阅 + B 端 API 双轨。是当前推理算力最大的直接买单方。
代表产品ChatGPT · Perplexity · Claude · 通义/文心/豆包
看什么MAU · 订阅数 · API 调用量 · Token 单价
4.3 企业 AI / 行业 AIB2B

企业 AI · 行业 AI · Vertical SaaS

金融风控 / 医疗辅助 / 法律 / 工业设计——B 端定制化 AI。付费能力强、但落地周期长。是需求持续性的关键。
代表方向金融 · 医疗 · 法律 · 制造 · 政务 · 零售
看什么企业采购规模 · ROI 证据 · 数据合规 · 垂直行业渗透率
4.4 视频 / 内容生成EMERGING

视频 / 内容生成 · Media Gen

Sora / Veo / Runway 类视频生成——单次生成算力消耗巨大。当前处于"投入 > 收入"阶段，商业化尚未成型。
代表产品Sora · Veo · Runway · Kling · 通义万相
看什么生成分辨率 / 时长 · 广告市场渗透 · 商用工具需求
“

训练是发动机、推理是持续燃料、
端侧是新战场、商业化是是否闭环。

— DEMAND · MAIN THREAD

回到首页 · 八模块全景

Silicon & Compute · Vol.001

回到首页 ↗