这句话是四年前的需求评审会上说的。说这话的是后端组的L，入职两年，技术不错，说话一贯有点冲。当时在讨论一个新功能的发布计划，我提了句要预留回滚窗口，他就笑着接了这句："运维嘛，出了问题重启一下不就好了。"旁边坐着产品、测试、还有我们组长。大家都听到了，有人低头看手机，有人假装在记笔记。我没有立刻回他。由于是政府的项目，接口的错误率在五分钟内从0.1%飙到了38%，写入开始大量失败。我从床上爬起来，开电脑，登跳板机，第一眼看到的是数据库连接池耗尽的报错：连接池最大设置的200，全部被占满，新请求全部超时。我拉了一下慢查询日志，发现有一个SQL在疯狂跑全表扫描，平均耗时从正常的...

想找小厂能行吗，都不理我

腾讯云智发这个就代表没希望了吗，哭了😭准备了好久，🥹

最近读了腾讯写的文章，简单自己做了下总结和理解，又有了新的输入，不愧是腾讯👍 一、学到的核心知识 1. 大模型推理的两大基石  Continuous Batching（连续批处理）：传统批处理要求一个 batch 内所有请求"同时开始、同时结束"，但 LLM 输出长度不可预测，会浪费 GPU。vLLM 把调度粒度从 request level 下沉到 token level——每一步看哪些请求"差几个 token"，就调度几个 token，把短请求填进 batch 的空隙里。 Paged Attention：传统做法一次为请求申请全部显存，碎片严重；P...