限流与配额

什么是限流

限流是为了保护服务稳定。当同一账号、同一令牌或同一模型在短时间内请求过多，就可能返回 429。

常见触发原因

• 程序并发太高。
• 客户端开启自动补全或自动重试。
• 多个软件共用同一个 Key。
• 单次请求上下文太长，处理时间过久。

处理方法

1. 降低并发。
2. 增加请求间隔。
3. 加指数退避重试。
4. 不同客户端使用不同令牌。
5. 对批量任务设置上限。

令牌额度有什么用

令牌额度可以限制某个 Key 的最大消耗。建议：

• Cursor、Continue 等代码工具单独限额。
• 图像/视频类任务单独限额。
• 测试脚本使用较小额度。
• 发现异常立即禁用对应令牌。