メインコンテンツへスキップ
ストリームモードでは、SSE(text/event-stream)を介して回答をトークン単位で送信します。回答全体が完了するのを待たずに、最初のトークンがより早く表示されます。"stream": trueで有効にします。

概要:curl

フラグ -N は重要です。これがないと、curl はバッファが満杯になるか、ストリームが終了するまで出力を保留します。 チャンクの形式:

Python - SDK OpenAI

Python - requests

リクエストにはstream=Trueを使用し、iter_lines()を読み取ってください。data: [DONE]を受信したら停止してください。

Node.js - SDK OpenAI

メモ Hostlinku

  • ヘッダー x-request-id は、ストリーミング応答でも引き続き送信されます。
  • ストリームが途中で失敗した場合、ゲートウェイはdata: {"error": {...}}イベントを送信し、偽の[DONE]は送信しない。
  • 料金は、ストリーミング終了後の実際の使用量に基づいて計算されます。使用量が確認できない場合は、予約時の推定値に基づいて請求されます。
  • リバースプロキシやCDNでレスポンスをバッファリングしないでください。text/event-streamをそのまま転送してください。