快手三面

Q：好的我现在明白不是返回数据格式的问题，但我还是很模糊，你给我再讲一下后端返回给前端数据的一般过程，和用消息队列后的返回过程A：tomcat线程先释放 （本来controller调service service调mapper查询数据库，一整套流程走完返回VO实体类给前端，有了消息队列后，controller接收到请求，查redis，判断下单成功直接给前端返回数据，然后释放tmocat线程，后台启动一个静默线程执行订单insert数据库等操作，，，并在 一段时间后再次给前端返回数据）我给你画最清晰、最朴素、最真实的前后端交互流程你马上彻底不模糊！我只讲最本质的区别：先记住一句超级本质的话后端给...

最近读了腾讯写的文章，简单自己做了下总结和理解，又有了新的输入，不愧是腾讯👍 一、学到的核心知识 1. 大模型推理的两大基石  Continuous Batching（连续批处理）：传统批处理要求一个 batch 内所有请求"同时开始、同时结束"，但 LLM 输出长度不可预测，会浪费 GPU。vLLM 把调度粒度从 request level 下沉到 token level——每一步看哪些请求"差几个 token"，就调度几个 token，把短请求填进 batch 的空隙里。 Paged Attention：传统做法一次为请求申请全部显存，碎片严重；P...