观测大模型应用:调用链、成本与质量
日志、指标、追踪三大件在 LLM 应用中的重新定义。
观测什么
调用量与延迟分布、Token 消耗与成本归因、输出质量抽样评估、失败与重试率。
与传统 APM 的差异
LLM 应用新增了 Token 维度:每一次调用的成本都不同,成本归因要精确到功能与用户。
落地建议
先用网关层统一采集调用数据,再逐步引入质量抽样评估。可观测性从第一天就该有。
DISCUSSION
文章讨论
0 条评论
日志、指标、追踪三大件在 LLM 应用中的重新定义。
调用量与延迟分布、Token 消耗与成本归因、输出质量抽样评估、失败与重试率。
LLM 应用新增了 Token 维度:每一次调用的成本都不同,成本归因要精确到功能与用户。
先用网关层统一采集调用数据,再逐步引入质量抽样评估。可观测性从第一天就该有。
0 条评论