RAG 切块策略应该怎样评测，而不是凭字符数拍脑袋？

核心判断

针对“RAG 切块策略应该怎样评测，而不是凭字符数拍脑袋？”，推荐先把目标、风险边界和可验证证据写成契约，再逐步扩大自动化范围。RAG 的验收单位应是“声明—证据”而不是“检索到了相似文本”，召回、支持度与新鲜度必须分别测量。

实施步骤

1）建立基线：建立包含可回答、冲突和无答案问题的标注集。2）控制执行：分别评估召回、重排、上下文完整性和引用支持度。3）处理失败：用文档版本与墓碑机制处理更新、权限变化和删除。4）形成闭环：把拒答、追问与转人工纳入产品指标。当前场景是“知识库包含 API 文档、表格和长报告，固定长度切块表现不稳定。”，因此应先做小流量或只读演练，再进入真实写入。

验收与监控

得到数据集、指标和对比实验方法。。至少记录成功率、失败类型、人工接管率、P95 延迟和单位任务成本；对第 26 号方案建立固定回归样例，发布前后使用相同输入对比。

边界与误区

约束是“评测需要覆盖召回、上下文完整性和成本。”。不要用单一总分或一次演示代替分层验证，也不要把超时当成失败后直接重放；任何外部副作用都必须具备幂等键、状态查询或补偿动作。