大模型应用的压力测试怎么做？

压测工具的选择

通用压测工具稍加改造即可：脚本里模拟流式响应的消费、按长度分布生成请求、记录首 Token 时间。专用 LLM 压测工具也有，但自建脚本更贴合业务。

分层压测策略

第一层压模型服务本身（网关直连），确定单实例容量；第二层压应用全链路（含检索与业务逻辑），确定系统瓶颈；第三层做峰值演练（双倍流量），验证降级预案。

容量规划输出

压测的产出是容量模型：单实例并发上限、扩容触发阈值、成本曲线。把这个模型写进运维文档，随模型升级重新校准。

常见坑

压测流量打满供应商限额导致生产请求被限流（压测要用独立 Key）；流式响应的连接保持消耗压测机资源，压测机本身要先扩容。