技术与工程已解决
RAG 评估指标:把质量拆成可测量的指标
忠实度、答案相关性、上下文精确率与召回率——把 RAG 质量拆成可行动的环节。
问题正文
四大核心指标
忠实度(答案是否忠于检索到的内容,衡量幻觉)、答案相关性(答案是否回应了问题)、上下文精确率(检索内容中有多少是相关的)、上下文召回率(相关内容是否都被检索到)。
指标定位问题
忠实度低是生成提示词或模型问题;召回率低是切分或 Embedding 问题;精确率低是检索噪声大,加重排序。指标体系把 RAG 不好拆成了可行动的环节。
LLM 裁判的校准
这些指标大多用 LLM 评审计算,裁判模型的选择与提示词直接影响分数。换裁判模型时要用人工标注样本重新校准。
