多家公司 AI 后端/大模型应用开发 大模型流式后端 大模型流式输出不是前端效果:后端要处理取消、超时和背压 流式输出不只是把字一个个吐给前端。后端要管理模型连接、客户端取消、超时、背压、部分结果和错误收尾。 阅读全文
多家公司 AI 后端/Agent 开发 Agent 长任务 Agent 长任务不能只靠上下文:队列、检查点和恢复机制才可靠 长任务 Agent 要像工作流系统一样管理状态,不能把执行进度只放在一次模型上下文里。 阅读全文