智算中心不是更大的机房:算力、网络、存储与运维的系统账

东数西算和全国一体化算力网把智算中心从建设项目推向长期运营。真正决定利用率与成本的,是机柜功率、网络收敛、存储吞吐和运维体系,而不是 GPU 数量。

过去两年,智算中心建设速度很快。各地都在上马项目,机柜、GPU、液冷和“万卡集群”成为高频词。但一个更值得关注的问题是:建成的算力,有多少真正被用起来了?

行业调研给出的答案并不轻松。多家机构测算,全国智算中心的平均利用率大约在三成左右,部分地方平台的实际利用率更低;与此同时,头部互联网公司和运营商的自建集群又接近满负荷。算力并不缺,缺的是把算力变成可用服务的能力。

这也是“东数西算”进入第二阶段后最现实的问题:智算中心不是更大的机房,而是一套由电力、制冷、网络、存储、调度和运维共同组成的系统。

一、高密机柜先改写机房边界

传统数据中心的单机柜功率通常在 5-10kW,而 GPU 训练机柜可以到 30kW、50kW 甚至更高。功率密度一变,机房的好几个前提都要重算:

  • 供电是否还有余量,UPS 和柴发的切换能否支撑冲击性负载;
  • 制冷方式是否还成立,风冷在高密机柜前的效率会快速下降;
  • 楼板承重、机柜布局和消防方案是否需要调整;
  • 线缆、母排和配电单元是否还能满足电流和散热要求。

液冷因此从“可选项”变成高密场景的必选项。但液冷不是装几根管子那么简单,它带来新的运维对象:冷板、快接头、冷却液、漏液检测、水质和流量。任何一个环节出问题,损失都可能比一台服务器更大。

智算中心的建设决策,首先要从“买多少卡”转成“能承载多少功率、能排出多少热、能保证多长的连续运行”。

二、网络是算力的一部分

在 AI 训练集群里,网络不是配套,而是算力的一部分。GPU 之间的东西向流量远高于传统业务系统,拥塞、丢包和链路抖动都会直接变成 GPU 空等。万卡集群里,一个慢节点或一条不稳定链路,可能拖慢整个训练任务。

这带来两个运维要求:

  1. 网络要可观测到链路和队列级别:不能只看端口 up/down,还要看拥塞、ECN、PFC、误码和时延。
  2. 网络变更要像数据库变更一样管理:一次路由策略或 MTU 调整,可能影响整个训练任务,必须有基线、审批和回退。

InfiniBand 和 RoCE 是当前两条主要路线。IB 的生态和确定性更好,RoCE 的成本和开放性更有优势,但对网络配置和运维能力要求更高。选型时不能只看峰值带宽,还要看现有团队能否运维、故障能否定位、备件能否保障。

三、存储与数据供给决定 GPU 是否“饿着”

很多智算项目把预算集中在 GPU 上,存储按传统业务的比例配置,结果训练时 GPU 等数据。AI 负载对存储的要求与办公系统完全不同:

  • 训练数据准备阶段需要高吞吐的文件访问;
  • 训练过程中的 checkpoint 需要稳定写入;
  • 推理服务需要低时延的模型加载和 KV cache;
  • 数据清洗、标注和特征工程需要与训练集群高效协同。

存储不能只看容量,还要看吞吐、IOPS、元数据性能和数据流动性。更重要的是,数据要离算力足够近。把数据放在远端、训练时反复跨地域拉取,网络成本和等待时间都会吞掉算力收益。

在智算中心里,存储不是“配套设备”,而是算力利用率的一部分。

四、利用率是运营指标,不是建设指标

智算中心的利用率,取决于它能不能持续获得任务。这里有几个现实约束:

  • 时延:东部的高实时推理任务,很难全部送到西部;1ms、5ms、20ms 的时延圈决定了哪些业务可以跨地域调度。
  • 异构:NVIDIA、昇腾、寒武纪、海光等不同算力平台,工具链和调度方式不同,统一纳管并不容易。
  • 计费与多租户:没有清晰的计量、计费和隔离能力,外部客户不敢用,内部业务也算不清账。
  • 运营能力:机柜上架、系统安装、故障响应、备件保障和远程 hands,决定了客户愿不愿意把任务放进来。

国家发展改革委等部门在《关于深入实施“东数西算”工程 加快构建全国一体化算力网的实施意见》中提出,要推动通用算力、智能算力、超级算力一体化布局,并探索东中西部算力交易结算机制。政策方向很明确,但落到单个智算中心,仍然要回答“我的客户是谁、他们为什么把任务放在这里”。

五、把智算中心当工厂来运维

智算中心的运维对象比传统机房更复杂:GPU、IB 交换机、光模块、液冷管路、存储集群、调度平台和训练框架,任何一个环节都可能成为故障点。

一套可用的运维体系至少包括:

  • 设备与固件基线:GPU、网卡、交换机、驱动的版本组合要经过验证,不能随意升级。
  • 健康检查:GPU 的 XID、ECC、温度、功耗,IB 链路的误码和拥塞,液冷的流量和漏液,都要纳入日常巡检。
  • 故障隔离:训练任务的故障域要清晰,出现坏卡、慢节点或链路异常时,能快速隔离并恢复。
  • 备件与响应:高价值部件的备件策略、到场时限和厂商升级路径,要在合同里写清楚。
  • 变更管理:驱动、固件、调度策略和网络配置的变更,要有窗口、审批、验证和回退。

智算中心的可用性,不是由最贵的设备决定的,而是由最薄弱的运维环节决定的。

对建设与运维团队的启示

  • 先算电力、制冷和承重,再算 GPU 数量;高密机柜的机房前提变了。
  • 网络和存储是算力的一部分,不能按传统业务的配角配置。
  • 利用率要从建设期就设计:时延圈、异构纳管、计费和多租户,决定了算力能不能卖出去。
  • 把智算中心当工厂运营,设备基线、健康检查、故障隔离、备件和变更管理缺一不可。
  • 液冷带来的新运维对象,要提前纳入巡检和应急预案。

参考来源

相关能力

返回洞察