AI 算力基础设施的瓶颈已经从 GPU 转向互连与利用率
GPU 仍然稀缺，但行业讨论的重点正在转向网络、存储、液冷和有效利用率。算力中心从“堆卡”进入“按 Token 算账”的阶段。
AI 基础设施的第一阶段是“买到卡”。当集群规模扩大、推理占比上升之后，行业关注点正在转移：卡与卡之间是否连得足够快，数据能否及时供给，电力与制冷能否支撑，以及最关键的：GPU 到底有多少时间在有效工作。
共识一：互连正在成为新的瓶颈
分布式训练中，网络通信可能占用相当大比例的时间。AllReduce 等同步通信对带宽、延迟和拥塞非常敏感，传统以太网的哈希极化和微突发会直接拉低集群效率。行业正在形成双轨格局：超大规模训练优先 InfiniBand，推理和中小规模集群更多采用 RoCE 或增强以太网，以平衡成本和运维复杂度。
800G 已经成为 AI 后端网络的主流，1.6T 开始进入验证。对建设者而言，网络不再是服务器的配套，而是决定集群线性度的核心变量。只比较 GPU 型号和数量，已经无法判断一套算力平台的真实能力。
共识二：存储和液冷从配套变成系统约束
大模型训练需要持续写入检查点，推理需要缓存 KV 数据，传统 HDD SAN 很难满足带宽和时延要求。NVMe-oF、并行文件系统、对象存储分层，以及面向推理的 SSD 缓存，正在成为 AI 存储的常见组合。
液冷同样如此。高密度机柜让风冷接近极限，冷板式液冷快速普及，浸没式在特定场景推进。液冷不只是散热问题，还会改变机房承重、供回水、CDU、漏液检测和运维流程。行业共识是：AI 基础设施要按“系统”设计，而不是按“部件”拼装。
共识三：有效利用率决定算力经济性
一个值得警惕的现象是：部分智算中心的 GPU 有效利用率长期偏低，而领先云服务商的利用率可以接近饱和。差距往往不在卡本身，而在网络延迟、散热降频、调度策略和负载匹配。
随着推理占比上升，计费方式也在从“包机时”转向“按 Token 计费”。行业开始用 Token/s、Token/W、首 Token 时延、MFU 和有效 GPU 卡时衡量算力平台。对运营方而言，提升利用率比继续堆卡更能改善成本结构。
对运维与建设团队的启示
- 先按训练、推理和混合负载划分资源池，再决定网络与存储架构。
- 对 IB 与 RoCE 做基于场景的选型，不要只用带宽和价格比较。
- 把液冷、供电和承重纳入机房规划，避免后期改造成本失控。
- 建立利用率、Token 成本和故障率的运营看板，持续优化调度。