概述
并发限制确保公平使用并保持 API 稳定。可同时运行的任务数量取决于你的套餐。各套餐限制
你的套餐决定了并发数。并发数按模型设置,并按用户计算。更高层级的套餐可以同时运行更多任务。如需了解 Enterprise 套餐详情和自定义并发配置,请联系销售。
任务积压
当积压可用时,你在超过并发上限后提交的任务会以status: "backlogged" 被接受,并在运行中的任务完成后按提交顺序开始处理。积压没有单独的容量上限。
当积压不可用时,额外的任务可能会被 HTTP 429 拒绝,而不是进入队列。该上限是近似值:短时间内的突发请求仍可能在超出上限后被接受。收到 429 时,请等待进行中的任务完成后再以退避方式重试。响应体和响应头详见 错误与调试。
最佳实践
- 实现指数退避 - 每次重试之间等待逐步增加的时长
- 在客户端排队请求 - 突发请求可能在超出上限后仍被接受,因此不要依赖 API 来阻止下一个请求
- 监控你的使用情况 - 跟踪请求数量,保持在限制内
- 使用 webhooks - 通过 webhooks 接收任务完成通知,减少轮询请求
下一步
API Keys & Billing
监控 API 使用情况和相关指标
Webhooks
使用 webhooks 减少轮询
错误与调试
429 响应体、退避策略和失败任务错误码