智算中心不是更大的机房:算力、网络、存储与运维的系统账
东数西算和全国一体化算力网把智算中心从建设项目推向长期运营。真正决定利用率与成本的,是机柜功率、网络收敛、存储吞吐和运维体系,而不是 GPU 数量。
东数西算和全国一体化算力网把智算中心从建设项目推向长期运营。真正决定利用率与成本的,是机柜功率、网络收敛、存储吞吐和运维体系,而不是 GPU 数量。
过去两年,智算中心建设速度很快。各地都在上马项目,机柜、GPU、液冷和“万卡集群”成为高频词。但一个更值得关注的问题是:建成的算力,有多少真正被用起来了?
行业调研给出的答案并不轻松。多家机构测算,全国智算中心的平均利用率大约在三成左右,部分地方平台的实际利用率更低;与此同时,头部互联网公司和运营商的自建集群又接近满负荷。算力并不缺,缺的是把算力变成可用服务的能力。
这也是“东数西算”进入第二阶段后最现实的问题:智算中心不是更大的机房,而是一套由电力、制冷、网络、存储、调度和运维共同组成的系统。
传统数据中心的单机柜功率通常在 5-10kW,而 GPU 训练机柜可以到 30kW、50kW 甚至更高。功率密度一变,机房的好几个前提都要重算:
液冷因此从“可选项”变成高密场景的必选项。但液冷不是装几根管子那么简单,它带来新的运维对象:冷板、快接头、冷却液、漏液检测、水质和流量。任何一个环节出问题,损失都可能比一台服务器更大。
智算中心的建设决策,首先要从“买多少卡”转成“能承载多少功率、能排出多少热、能保证多长的连续运行”。
在 AI 训练集群里,网络不是配套,而是算力的一部分。GPU 之间的东西向流量远高于传统业务系统,拥塞、丢包和链路抖动都会直接变成 GPU 空等。万卡集群里,一个慢节点或一条不稳定链路,可能拖慢整个训练任务。
这带来两个运维要求:
InfiniBand 和 RoCE 是当前两条主要路线。IB 的生态和确定性更好,RoCE 的成本和开放性更有优势,但对网络配置和运维能力要求更高。选型时不能只看峰值带宽,还要看现有团队能否运维、故障能否定位、备件能否保障。
很多智算项目把预算集中在 GPU 上,存储按传统业务的比例配置,结果训练时 GPU 等数据。AI 负载对存储的要求与办公系统完全不同:
存储不能只看容量,还要看吞吐、IOPS、元数据性能和数据流动性。更重要的是,数据要离算力足够近。把数据放在远端、训练时反复跨地域拉取,网络成本和等待时间都会吞掉算力收益。
在智算中心里,存储不是“配套设备”,而是算力利用率的一部分。
智算中心的利用率,取决于它能不能持续获得任务。这里有几个现实约束:
国家发展改革委等部门在《关于深入实施“东数西算”工程 加快构建全国一体化算力网的实施意见》中提出,要推动通用算力、智能算力、超级算力一体化布局,并探索东中西部算力交易结算机制。政策方向很明确,但落到单个智算中心,仍然要回答“我的客户是谁、他们为什么把任务放在这里”。
智算中心的运维对象比传统机房更复杂:GPU、IB 交换机、光模块、液冷管路、存储集群、调度平台和训练框架,任何一个环节都可能成为故障点。
一套可用的运维体系至少包括:
智算中心的可用性,不是由最贵的设备决定的,而是由最薄弱的运维环节决定的。