数据中心与电力:AI 的能源账单
AI 集群的电力需求成为产业约束:能源效率从社会责任变成了工程指标。
电力的硬约束
大型算力集群的电力需求达到城市级别,电网容量与供电许可成为扩张的现实瓶颈,选址逻辑因此改变。
效率的工程化
单位 Token 的能耗成为与吞吐并列的工程指标。液冷、余热回收、负载调度都在为能耗服务。
推理的能耗优势
推理的能耗远低于训练,且随模型效率提升快速下降。端侧推理的能耗优势在隐私之外多了绿色维度。
DISCUSSION
文章讨论
0 条评论
AI 集群的电力需求成为产业约束:能源效率从社会责任变成了工程指标。
大型算力集群的电力需求达到城市级别,电网容量与供电许可成为扩张的现实瓶颈,选址逻辑因此改变。
单位 Token 的能耗成为与吞吐并列的工程指标。液冷、余热回收、负载调度都在为能耗服务。
推理的能耗远低于训练,且随模型效率提升快速下降。端侧推理的能耗优势在隐私之外多了绿色维度。
0 条评论