离线评测不错的 Agent，上线后还要观察哪些信号才算真的可靠？

核心判断

针对“离线评测不错的 Agent，上线后还要观察哪些信号才算真的可靠？”，推荐先把目标、风险边界和可验证证据写成契约，再逐步扩大自动化范围。Agent 负责执行，人负责定义不可越过的边界和高风险审批点；是否继续应由进展证据而不是固定步数决定。

实施步骤

1）建立基线：按只读、可逆写入、外部副作用和破坏性操作分四级授权。2）控制执行：每个阶段保存计划、输入摘要、变更集和验证结果。3）处理失败：用错误分类决定重试、降级、转人工或补偿。4）形成闭环：把真实失败样例沉淀为回归集和权限策略。当前场景是“测试集通过率很高，但真实用户任务更长，也会遇到权限和工具异常。”，因此应先做小流量或只读演练，再进入真实写入。

验收与监控

得到质量、风险、用户接管与业务结果的指标体系。。至少记录成功率、失败类型、人工接管率、P95 延迟和单位任务成本；对第 7 号方案建立固定回归样例，发布前后使用相同输入对比。

边界与误区

约束是“指标不能只看成功率与 token 成本。”。不要用单一总分或一次演示代替分层验证，也不要把超时当成失败后直接重放；任何外部副作用都必须具备幂等键、状态查询或补偿动作。