Pemakaian & Limit
Rate limit gateway, limit kredit per kunci, dan cara memantau pemakaian di console
Hostlinku membatasi pemakaian di tiga lapisan yang saling melengkapi: rate limit (jumlah request per waktu), limit kredit per kunci (biaya per jendela reset), dan saldo akun (sumber dana). Ketiganya dicek di sisi server sebelum request diteruskan ke provider.
Rate limit
Setiap respons yang melewati limiter menyertakan header standar (format IETF RateLimit-*):
RateLimit-Limit, RateLimit-Remaining, dan RateLimit-Reset. Muat ulang nilai Reset untuk
tahu kapan jendela berikutnya dimulai.
Saat batas terlampaui, responsnya:
HTTP/1.1 429 Too Many Requests{
"status": "error",
"error": {
"code": "RATE_LIMITED",
"message": "Rate limit terlampaui. Tingkat plan untuk limit lebih tinggi."
}
}Untuk 429, tunggu sesuai RateLimit-Reset (atau backoff eksponensial 1s → 2s → 4s… dengan
jitter) lalu coba lagi. Jangan menembak ulang tanpa jeda — itu hanya memperpanjang blokir di
jendela berjalan.
Limit kredit per kunci
Di luar rate limit, setiap kunci bisa punya limit biaya (USD) dengan jendela reset harian, mingguan, bulanan (kalender UTC), atau total tanpa reset. Pemakaian dihitung dari biaya request nyata per kunci. Kunci yang menyentuh limit ditolak 402 PAYMENT_REQUIRED sampai jendela berikutnya dimulai. Detail pengaturan ada di Autentikasi.
Reservasi saldo saat request
Untuk tiap request, gateway:
- Mereservasi estimasi biaya (berdasarkan panjang prompt dan
max_tokens) dari saldo akun. - Meneruskan request ke provider.
- Commit biaya nyata berdasarkan token yang terpakai, dan melepas sisa reservasi.
Artinya: saldo yang tampil di console terbagi menjadi balance (total) dan reserved (sedang
tertahan oleh request berjalan); yang bisa dipakai request baru adalah balance − reserved
(available). Request yang gagal tidak dikenakan biaya — reservasinya dilepas otomatis.
Memantau pemakaian di console
Masuk ke console.hostlinku.com:
Semua angka berasal dari tabel telemetri backend yang sama dengan yang dipakai penagihan — tidak ada estimasi di sisi tampilan.
Untuk aplikasi Anda sendiri, blok hostlinku.cost pada setiap respons chat completion memuat
biaya request tersebut, dan header x-request-id menghubungkannya ke baris log di console.