技术与工程已解决
大模型 API 限流怎么应对？
令牌桶、退避重试、多供应商路由——限流下的工程生存指南。
问题正文
理解限流维度
服务商通常按每分钟请求数和每分钟 Token 数双重限流，且额度随消费等级提升。新账号额度最低。
客户端策略
指数退避重试（429 后等待再试）、请求队列与并发控制、非紧急任务错峰执行。
架构层策略
多供应商冗余路由、本地缓存相同请求、小模型承接简单请求分流。开源网关把这些都做好了。
令牌桶、退避重试、多供应商路由——限流下的工程生存指南。
问题正文
服务商通常按每分钟请求数和每分钟 Token 数双重限流，且额度随消费等级提升。新账号额度最低。
指数退避重试（429 后等待再试）、请求队列与并发控制、非紧急任务错峰执行。
多供应商冗余路由、本地缓存相同请求、小模型承接简单请求分流。开源网关把这些都做好了。
ANSWERS
回答内容
应对 API 限流的三层方案：客户端指数退避与并发控制、请求去重缓存、架构层多供应商路由。
限流保护的是整个平台的容量公平性。高峰期被打满时，升级额度之外的缓冲手段就是生命线。
把供应商不可用当作常态设计：超时、降级、切换都要有预案，不要假设单一供应商永远可用。