最近读了腾讯写的文章，简单自己做了下总结和理解，又有了新的输入，不愧是腾讯👍 一、学到的核心知识 1. 大模型推理的两大基石  Continuous Batching（连续批处理）：传统批处理要求一个 batch 内所有请求"同时开始、同时结束"，但 LLM 输出长度不可预测，会浪费 GPU。vLLM 把调度粒度从 request level 下沉到 token level——每一步看哪些请求"差几个 token"，就调度几个 token，把短请求填进 batch 的空隙里。 Paged Attention：传统做法一次为请求申请全部显存，碎片严重；P...

012026年5月的最后一个下午，和往常没什么不同，校园里奔走的人们脸上写着的大都是兴奋于快乐，只是在我看来这一切已经不属于我们。由于有一些同学已经出去找工作，平日拥挤的宿舍显得空空荡荡，几个人个人在玩着游戏逃避现实，偶尔几句并不意气风发的对话，这就是我大学生活的最后一个学期，往日欢聚时的欢声笑语都已隐隐远去，将来走出校园也许就意味着走进孤独？这个夜晚，我又一次走进操场，狂欢了一夜的校园安静极了，我不得不想，走出这个校园，明天会在哪里落脚。春节过后，因为毕业实习而分别了很久的同学返回了校园，由于有了毕业实习单兵作战的酸甜苦辣，重新相聚，自然格外亲切，大家可能都意识到，大学所剩的时间不多，这是散...