跳转到主要内容
Hostlinku 通过三个相互补充的层级对使用进行限制:速率限制(单位时间内的请求数量)、每个 API 密钥的额度(每个重置窗口内的费用)以及 账户余额(资金来源)。 在请求转发至提供商之前,这三项会在服务器端进行验证。

速率限制

每个经过限幅器的响应都包含标准标头(IETF RateLimit-* 格式):RateLimit-Limit、RateLimit-Remaining 和 RateLimit-Reset。 请读取 Reset 的值,以了解下一个窗口何时开始。 当超过限制时,其响应为:

每个 API 密钥的额度

除了速率限制外,每个 API 密钥均可设置费用限额(美元),重置周期可选每日、每周、每月(UTC 日历)或无重置的总限额。使用量根据每个 API 密钥的实际请求费用计算。 达到限额的 API 密钥将被拒绝,返回 402 PAYMENT_REQUIRED 状态码,直至下一个计费周期开始。设置详情请参见 身份验证。

请求时的余额预留

对于每个请求,网关:
  1. 预留预估费用(根据提示词长度及max_tokens)从账户余额中扣除。
  2. 将请求转发给服务提供商。
  3. Commit 根据已使用的Token计算实际费用,并释放剩余的预留额度。
这意味着:控制台中的余额分为 balance(总余额)和 reserved(正在处理的待处理请求)。可用于新请求的是 balance − reserved(available)。 失败的请求不收取费用;其预留资源将自动释放。

在控制台中监控使用情况

访问 console.hostlinku.com: 所有数据均来自与计费所用相同的后端遥测表,界面端未进行任何估算。

行为摘要 429 和 402