多家公司 AI 后端/大模型应用开发 大模型流式后端 大模型流式输出不是前端效果:后端要处理取消、超时和背压 流式输出不只是把字一个个吐给前端。后端要管理模型连接、客户端取消、超时、背压、部分结果和错误收尾。 阅读全文
多家公司 后端开发 Linux IO 与高并发 epoll 高并发的关键不在“快”,而在少做无用等待 epoll 的价值不是神奇地让业务变快,而是减少大量连接下的无效扫描和等待。真正的高并发还要配合非阻塞、线程模型和背压。 阅读全文