模型降级不是简单切到便宜模型。不同任务的正确性要求、可见承诺、延迟预算和失败处理,决定了降级能不能上线。
阅读全文Interview Articles
程序员面试专题库
从岗位、技术栈和面试追问切入,快速找到能直接用于复习、项目表达和查漏补缺的文章。
大模型成本上涨往往藏在长上下文、重复重试、无效流式输出和缓存失效里。面试里讲成本治理,要能把账单拆回一次请求的真实链路。
阅读全文异步不是把同步代码包进 supplyAsync。真正能被追问住的,是时间预算、线程池隔离、聚合语义、取消传播和异常兜底。
阅读全文四种引用真正有价值的回答,是把定义放进缓存、ThreadLocal、元数据和堆外资源回收这些场景里讲清楚。
阅读全文epoll 的价值不是神奇地让业务变快,而是减少大量连接下的无效扫描和等待。真正的高并发还要配合非阻塞、线程模型和背压。
阅读全文限流、熔断、降级不是三个口号,而是系统在压力和故障下保护核心链路的不同动作。
阅读全文可观测性不是多打印日志,而是让一次请求从入口到下游都有可追踪证据,故障时能快速收敛范围。
阅读全文模型路由不是简单把请求分给便宜模型,而是按任务难度、风险、延迟和成本选择合适路径。
阅读全文Agent 的能力不只在能拆任务,而在计划能被约束、执行能被审计、反思不能无限循环。
阅读全文多级缓存不是多加一层缓存,而是明确每一层解决什么问题,以及失效、更新和降级怎么传播。
阅读全文线程池隔离的目的不是形式上拆开,而是防止慢任务和非核心任务拖垮核心链路。
阅读全文结构化输出不是让模型“按 JSON 返回”这么简单,后端必须承担解析、校验、重试、降级和审计。
阅读全文
第 1 / 3 页
下一页