跳转到主要内容
流模式通过 SSE(text/event-stream)以Token为单位发送答案。第一个Token会更快出现,无需等待整个答案发送完毕。使用 "stream": true 启用此模式。

简述:curl

-N 标志很重要:如果没有该标志,curl 会将输出暂存,直到缓冲区已满或流结束。 片段格式:

Python - SDK OpenAI

Python - requests

在请求中使用 stream=True,并读取 iter_lines()。收到 data: [DONE] 时停止。

Node.js - SDK OpenAI

备注 Hostlinku

  • x-request-id 标头仍会在流响应中发送。
  • 如果流在传输过程中失败,网关会发送 data: {"error": {...}} 事件,并且不会发送虚假的 [DONE] 事件。
  • 费用将根据流式传输播放结束后实际的使用量计算;如果无法获取实际使用量,则按预留量的预估值计费。
  • 请勿在反向代理或CDN中缓存响应。请原样转发text/event-stream。