技术与工程已解决
端云混合路由怎么设计?
简单请求端侧秒回、复杂请求云端处理——路由策略是混合架构的核心竞争力。
问题正文
为什么要混合
端侧模型快、免费、隐私好,但能力有限;云端模型强,但慢、贵、有数据顾虑。路由策略让两端各干擅长的事,是混合架构的全部价值所在。
路由信号的选取
基于规则:输入长度、任务类型分类器、关键词。基于模型:小模型先判断复杂度再决定是否升级。基于历史:同类请求的满意度统计。实践中规则加小模型分类器的组合最稳。
降级与升级路径
端侧置信度低时升级到云端,云端不可用时降级到端侧兜底。两个方向的切换都要有明确的触发阈值与用户体验兜底。
