速率限制

网关的主要限制是，针对端点 /v1/*，每个 API 密钥每分钟最多 600 次请求。同一密钥下所有模型的请求将在 60 秒的计时窗口内合并计算。 当超过限制时，网关将返回 HTTP 429 状态码，并附带以下信息：

• Retry-After：建议的等待时间（单位：秒）。
• RateLimit-Limit、RateLimit-Remaining、RateLimit-Reset：配额和剩余窗口。

请求 429 不会进行预订或扣除余额。

​

建议的后退距离

1. 读取Retry-After；如果存在，则等待该值所对应的时间。
2. 如果没有，则从1秒开始，每次试验将时间翻倍（1、2、4、8秒），并加入抖动。
3. 限制尝试次数，例如5次。
4. 对于高负载情况，应让请求在应用程序端排队，而不是发送突发请求。