语义缓存：大模型应用的省钱利器

它是什么

传统缓存按精确 Key 命中；语义缓存把查询向量化，语义相似的查询直接返回缓存的答案。客服场景的怎么退款有一百种问法，语义缓存一次生成多次复用。

命中率决定价值

命中率取决于查询分布的集中度：客服、FAQ 类场景命中率高（收益大）；开放对话场景命中率低（可能得不偿失）。

风险控制

相似不等于相同：时间敏感型答案（价格、库存）不能缓存或要短有效期；个性化答案不能跨用户复用；阈值设置过松会返回答非所问的缓存。