レート制限

ゲートウェイの主な制限は、エンドポイント /v1/* に対して API キーあたり 1 分あたり 600 リクエスト です。同じキーに対するすべてのモデルからのリクエストは、60 秒間のウィンドウ内で合算されます。 制限を超えた場合、ゲートウェイは以下の内容を含む HTTP 429 を返します：

• Retry-After: 待機時間の推奨値（秒単位）。
• RateLimit-Limit、RateLimit-Remaining、RateLimit-Reset：割り当てと残量。

リクエスト429は、予約を行わず、残高も引き落とされません。

​

推奨されるバックオフ

1. Retry-Afterを参照してください。該当する場合は、その値の分だけ待機してください。
2. ない場合は、1秒から始め、各試行ごとに倍増させて（1、2、4、8秒）、ジッターを適用してください。
3. 試行回数を、例えば5回に制限してください。
4. 高負荷時には、バースト送信を行うのではなく、アプリケーション側でリクエストをキューに蓄積してください。