模型即服务的 SLA 设计:AI 服务的企业级承诺
模型服务的 SLA 与传统服务不同:延迟分布、内容质量、容量保证都要重新定义。
SLA 的新维度
传统 SLA 看可用性与响应时间;模型服务还要看质量承诺(输出合格率的定义方式)、Token 吞吐保证、限流透明度。
延迟的承诺方式
首 Token 延迟与生成速率分开承诺;P99 的长尾由模型特性决定,过强的承诺是自找麻烦。
免责的边界
幻觉不可避免,SLA 里如何定义内容质量的责任边界是法律与工程的新课题。
DISCUSSION
文章讨论
0 条评论
