Prompt Cache 应该缓存哪些前缀，如何避免跨用户数据泄露？

核心判断

针对“Prompt Cache 应该缓存哪些前缀，如何避免跨用户数据泄露？”，推荐先把目标、风险边界和可验证证据写成契约，再逐步扩大自动化范围。模型行为是版本化依赖，结构校验、评测切片、取消传播和缓存隔离都应在应用层显式实现。

实施步骤

1）建立基线：用真实任务切片建立人工校准的固定回归集。2）控制执行：在 Schema 边界验证并区分可修复格式错误与语义错误。3）处理失败：通过影子流量和分阶段发布比较质量、延迟与成本。4）形成闭环：保留模型版本、提示版本、评分依据和取消结算记录。当前场景是“系统提示和工具定义很大，希望降低延迟与成本。”，因此应先做小流量或只读演练，再进入真实写入。

验收与监控

得到缓存分层、失效和隐私测试方案。。至少记录成功率、失败类型、人工接管率、P95 延迟和单位任务成本；对第 33 号方案建立固定回归样例，发布前后使用相同输入对比。

边界与误区

约束是“缓存键必须隔离租户、权限和版本。”。不要用单一总分或一次演示代替分层验证，也不要把超时当成失败后直接重放；任何外部副作用都必须具备幂等键、状态查询或补偿动作。