Skip to content

超时与长请求 ​

建议超时 ​

场景建议
普通对话60 s
长文生成 / 推理模型300 s 起
流式连接超时 10 s + 空闲超时 60 s

客户端超时应当设置在「首字节时间」和「总时长」两个维度上,流式尤其要看空闲时间。

客户端断开后还会扣费吗 ​

会。断开只是客户端不再读,服务端与上游可能已经生成了部分内容并按实际用量计费。批量任务请用可取消的请求,或先估算成本。

排查顺序 ​

  1. 用小 max_tokens 和短提示词复现,排除偶发的长响应
  2. 换分组再试,确认是否为该渠道的上游抖动
  3. 看控制台日志里该请求的耗时与状态
  4. 仍然超时就降并发,避免自己把自己排队堵住

内容以模型广场与后台实际配置为准。