Langsung ke konten utama
Stream mode mengirim jawaban token-per-token lewat SSE (text/event-stream). Token pertama muncul lebih cepat, tanpa menunggu seluruh jawaban selesai. Aktifkan dengan "stream": true.

Ringkas: curl

Flag -N penting: tanpa itu curl menahan output sampai buffer penuh atau stream selesai. Format chunk:

Python — SDK OpenAI

Python — requests

Gunakan stream=True pada request dan baca iter_lines(). Berhenti saat menerima data: [DONE].

Node.js — SDK OpenAI

Catatan Hostlinku

  • Header x-request-id tetap dikirim pada respons streaming.
  • Jika stream gagal di tengah, gateway mengirim event data: {"error": {...}} dan tidak mengirim [DONE] palsu.
  • Biaya dihitung dari usage nyata setelah stream selesai; jika usage tidak tersedia, tagihan memakai estimasi reservasi.
  • Jangan buffer respons di reverse proxy atau CDN. Teruskan text/event-stream apa adanya.