流式 LLM 请求被用户取消后，服务端怎样及时停止并正确计费？

核心判断

针对“流式 LLM 请求被用户取消后，服务端怎样及时停止并正确计费？”，推荐先把目标、风险边界和可验证证据写成契约，再逐步扩大自动化范围。模型行为是版本化依赖，结构校验、评测切片、取消传播和缓存隔离都应在应用层显式实现。

实施步骤

1）建立基线：用真实任务切片建立人工校准的固定回归集。2）控制执行：在 Schema 边界验证并区分可修复格式错误与语义错误。3）处理失败：通过影子流量和分阶段发布比较质量、延迟与成本。4）形成闭环：保留模型版本、提示版本、评分依据和取消结算记录。当前场景是“浏览器断开后后台仍继续生成，造成资源浪费和状态不一致。”，因此应先做小流量或只读演练，再进入真实写入。

验收与监控

得到 Abort 传播、状态记录和幂等结算方案。。至少记录成功率、失败类型、人工接管率、P95 延迟和单位任务成本；对第 32 号方案建立固定回归样例，发布前后使用相同输入对比。

边界与误区

约束是“供应商取消语义与计费回调不完全相同。”。不要用单一总分或一次演示代替分层验证，也不要把超时当成失败后直接重放；任何外部副作用都必须具备幂等键、状态查询或补偿动作。