№ 09 · TOOLS · METRICS & GLOSSARY

指标与术语

看新闻和研报的解码器——常见参数、财务指标、行业术语一次讲清。 按主题分为 6 组：算力 · 显存 · 网络 · 数据中心 · 推理经济 · 财务。 不用死记，遇到时回来查一次就够。

01

算力 Compute

FLOPS · TOPS · 精度类型
6 术语
FLOPSFLoating-point OPS/s
每秒执行的浮点运算次数——AI 芯片算力的核心指标。H100 FP16 稠密约 989 TFLOPS。通常带精度前缀，如 FP16 FLOPS / FP8 FLOPS
TOPSTrillion OPS/s
每秒执行的整数运算次数（万亿次）——端侧 AI 常用。iPhone A17 NPU ≈ 35 TOPS。TOPS 和 FLOPS 不是同一个东西，比较时要看精度
FP16 / BF1616-bit float
训练主流精度——16 位浮点数。FP16 是 IEEE 标准、BF16 是 Google 提出、动态范围更大。现代 AI 芯片 FP16 与 BF16 性能通常相同
FP8 / FP48-bit / 4-bit float
更低精度浮点——推理主流、训练前沿。Blackwell 的 FP8 稠密算力是 FP16 的 2 倍。FP8 让模型更小、更快、成本更低——是当前推理性价比的关键
INT8 / INT4Integer 8 / 4
整数量化推理——端侧和 ASIC 主战场。牺牲一点精度换取速度与能效比大幅提升。INT8 比 FP16 大约快 4 倍、能耗降低 3-5 倍
稀疏算力Sparsity FLOPS
NVIDIA 2:4 稀疏模式——理论算力翻倍。宣传数字里的"1979 TFLOPS"通常包含稀疏。实际训练很少能吃到全部稀疏加速——看性能要看"稠密"数字
02

显存 Memory

容量 · 带宽 · HBM 代际
6 术语
显存容量Memory capacity
GPU 上能装多大模型——H100 是 80/141 GB、B200 是 192 GB。容量决定能不能加载模型 + KV cache。推理常见瓶颈就是显存"装不下 KV cache"
显存带宽Memory bandwidth
每秒能从显存读多少数据——单位 TB/s。H100 SXM ≈ 3.35 TB/s，B200 ≈ 8 TB/s。推理性能通常受带宽限制而不是算力
HBMHigh Bandwidth Memory
3D 堆叠的高带宽显存——紧贴 GPU 的关键存储。HBM3e 单颗 ≈ 24 GB / 1 TB/s。HBM 供给决定 AI GPU 能不能出货
HBM3e / HBM4HBM generations
HBM 代际——HBM3e 是当前主流、HBM4 从 2026 开始爬坡。HBM4 带宽 > 1.5 TB/s / 颗。代际切换 = 单颗价格阶跃 + 良率挑战 + 供给再洗牌
DDR / GDDR / LPDDRDRAM 变体
DDR5 服务器/PC 主内存 · GDDR7 消费 GPU · LPDDR5X 手机 / AI PC。同为 DRAM，但用途和形态不同——不要混为一谈
CXLCompute Express Link
让 CPU / GPU 通过 PCIe 物理层共享内存池——多台服务器共享 DRAM 池。被视为"HBM 之后的下一个存储战场"
03

网络 / 互联 Interconnect

带宽 · 延迟 · Scale-Up / Scale-Out
6 术语
NVLink / NVSwitchNVIDIA GPU 直连
机柜内 GPU 高速直连——最新一代 NVLink 5 单向 > 200 GB/s。NVLink 域大小（Domain size）= 一个机柜内可直连的 GPU 数
InfiniBand / RoCE跨机柜网络
机柜之间的集群互联。IB 是训练主流，RoCE（以太上的 RDMA）是超大规模推理的替代路径。HFT 和 HPC 一直用 IB · 云厂开始用 RoCE 降本
Scale-Up vs Scale-Out纵向 vs 横向扩展
Scale-Up：机柜内做大（NVLink 域）；Scale-Out：机柜之间做多（IB / RoCE）。两条路线的经济性不同——Scale-Up 效率高但成本高
800G / 1.6T光模块速率
数据中心光模块端口速率——2024 主流 800G、2025-2026 切换 1.6T。代际切换 = 单价上升 + 用量翻倍 = 光模块厂的双击
硅光 / CPOSilicon photonics / Co-packaged
光模块下一代形态——把光引擎和交换 ASIC 集成到同一颗芯片。从"可插拔模块"转向"共封装"——利好交换芯片厂、可能改变光模块厂格局
延迟 / 吞吐Latency / Throughput
延迟：一次通信要多久 · 吞吐：单位时间过多少数据。训练重吞吐、推理重延迟——两种硬件设计取舍不同
04

数据中心 Data Center

功率密度 · PUE · TCO
6 术语
机柜功率密度Rack power density
单机柜功耗——传统 IDC 约 5-15 kW，AI 时代跳到 60-120 kW。机柜功率密度提升 = 强制液冷 + 电源升级
PUEPower Usage Effectiveness
数据中心总能耗 / IT 设备能耗——越接近 1 越好。传统 PUE ≈ 1.5 · 液冷 ≈ 1.1。中国的数据中心政策要求新建 PUE ≤ 1.25
液冷Liquid cooling
用液体（水/氟化液）散热——冷板 / 浸没 / L2L / L2A 多路线。百 kW 单柜的必需品。液冷渗透率从 2023 的 <10% 快速爬到 2026 的 30%+
UPS / PDU供电系统
UPS：不间断电源 · PDU：机柜级配电单元。AI 时代都要模块化和更高功率密度。Vertiv / Schneider / Eaton 是海外三巨头
TCOTotal Cost of Ownership
总拥有成本——硬件采购 + 电力 + 冷却 + 运维 + 折旧。AI 集群的 TCO 里，电力和折旧越来越大
PPAPower Purchase Agreement
长期电力购买协议——云厂锁定 GW 级电力供应的主要形式。MSFT / Amazon 已经开始与核电公司签 10 年以上 PPA
05

推理经济 Inference Economics

Token 单价 · KV cache · GPU 利用率
6 术语
TokenToken
大模型处理的基本单位——一般 1 中文字 ≈ 2 token、1 英文单词 ≈ 1.3 token。GPT-4 全球每天消费 几百亿 token 级别
Token 单价$/M tokens
API 收费的核心度量——单位一般是每百万 token 多少美元。GPT-4 输入约 $10/M、输出约 $30/M（不断下降）。Token 单价年降 50%+ · 是推理商业化的核心变量
KV cacheKey-Value cache
推理时缓存前 N 个 token 的中间结果——省算力、占显存。上下文越长、KV cache 越大。128K 上下文的 KV cache 可能占显存几十 GB
吞吐Throughput · tokens/s
推理吞吐量——每秒能生成多少 token。单卡吞吐、集群吞吐都要看。vLLM / TensorRT / SGLang 的优化目标
GPU 利用率GPU utilization / MFU
GPU 算力有效使用比例——训练常见 30-50%，推理常见 10-30%。利用率越高 = 单位算力产出越多 = 硬件性价比越好
时延TTFT · TPOT · Latency
TTFT：首 token 延迟 · TPOT：单 token 生成时间。聊天机器人重 TTFT · 代码生成重 TPOT
06

财务 Financials

CAPEX · ASP · 库存 · 折旧
6 术语
CAPEXCapital Expenditure
资本开支——买设备、建厂、买 GPU 都算。云厂 AI CAPEX 是行业最重要的先导指标。Meta 2026 CAPEX 指引已经上到 >800 亿美元级别
ASPAverage Selling Price
平均售价——单件产品的平均价格。代际切换 / 缺货 / 组合改善 都会推 ASP。HBM3e → HBM4 = ASP 阶跃
毛利率Gross Margin
收入 − COGS）/ 收入。寡头 + 供不应求 → 毛利率高。NVIDIA 数据中心毛利 > 70%。看毛利率变化比看绝对水平更有意义
库存周转Inventory Turnover
库存变现速度——库存天数越少越好。存储行业周期性最强、库存最难。主动去库 = 缩表出清 · 被动增库 = 需求转弱信号
折旧年限Depreciation life
硬件会计上折多久——云厂原来 3 年、现在延长到 5-6 年。折旧年限拉长 = 短期利润好看 = 长期风险累积
订单积压Backlog / Book-to-Bill
已下单未交付的订单价值——是收入的"预告片"。ASML / TSMC 都披露 Backlog。Book-to-Bill > 1 = 订单大于出货 = 未来收入向上
“

术语不是拿来背的，是拿来用的——
看到不懂，回来查一次就够。

— GLOSSARY · TOOLS

回到首页 · 八模块 + 工具

Silicon & Compute · Vol.001

回到首页 ↗