技术与工程已解决
模型服务的健康检查与自动扩缩容
模型服务的健康检查与传统服务不同——就绪探针要探到能生成。
问题正文
健康检查的层次
进程存活（端口在听）只是第一步。模型就绪（权重加载完成、能完成一次真实生成）才是真正的就绪。加载 70B 模型可能要几分钟，就绪探针的超时要匹配。
探针设计
存活探针轻量（进程与显存状态）。就绪探针调用一次短文本生成（真实推理路径）。两者分开配置，避免重启风暴。
扩缩容指标
按 CPU 内存扩缩对推理服务失效——要看排队长度、缓存利用率、Token 吞吐。这些指标需要从推理服务暴露出来。