HBM 与显存技术：推理瓶颈的物理学

带宽即速度

自回归生成的每一步都要读全部权重，显存带宽直接决定生成速度。这是推理硬件与训练硬件需求分化的根本原因。

HBM 的演进

更高容量与带宽的显存代际升级，直接决定单卡能跑多大模型、多快生成。显存成为比算力更稀缺的资源。

对部署的启示

买卡看带宽不只看算力；模型与量化方案的选择要匹配显存容量；批处理大小受显存硬约束。