评测驱动开发:AI 应用的持续集成
把评测集纳入持续集成,每次改动都有回归数据护航。
为什么需要
提示词改了几个字、模型换了个版本、检索参数动了动——任何微小改动都可能让某个场景悄悄退化。
最小实践
50 条核心场景测试用例、自动化评分、改动前后对比报告。半天就能搭建。
进阶
评测接入持续集成流水线,退化超过阈值自动阻断发布;评测集随业务迭代持续扩充。
DISCUSSION
文章讨论
0 条评论
把评测集纳入持续集成,每次改动都有回归数据护航。
提示词改了几个字、模型换了个版本、检索参数动了动——任何微小改动都可能让某个场景悄悄退化。
50 条核心场景测试用例、自动化评分、改动前后对比报告。半天就能搭建。
评测接入持续集成流水线,退化超过阈值自动阻断发布;评测集随业务迭代持续扩充。
0 条评论