技术与工程已解决
大模型观测的落地细节
从埋点字段到成本归因到质量抽样,一份可执行的观测清单。
问题正文
埋点字段清单
每次调用记录:请求 ID、租户与用户、模型版本、提示词版本、输入输出 Token 数、首 Token 延迟、总延迟、错误类型、重试次数。字段是观测的地基。
成本归因
Token 单价按模型与时段计算,成本要能归因到功能模块与租户。成本异常告警(单用户暴增、单功能成本跳变)是早期发现问题的重要信号。
质量抽样
按比例抽样真实对话做人工或 LLM 评审,抽样率随流量调整。质量退化往往先于成本异常出现,抽样是最早的哨兵。
