最近读了腾讯写的文章，简单自己做了下总结和理解，又有了新的输入，不愧是腾讯👍 一、学到的核心知识 1. 大模型推理的两大基石  Continuous Batching（连续批处理）：传统批处理要求一个 batch 内所有请求"同时开始、同时结束"，但 LLM 输出长度不可预测，会浪费 GPU。vLLM 把调度粒度从 request level 下沉到 token level——每一步看哪些请求"差几个 token"，就调度几个 token，把短请求填进 batch 的空隙里。 Paged Attention：传统做法一次为请求申请全部显存，碎片严重；P...

是AI吗？ 还不如AI呢😅

一次拿到了四个大厂的Offer，这么恐怖的吗 😱😱😱

一些自己在网上搜刮的面经题目路过的牛爷爷可以试着答一答，附上自己的答案，如果有更好的答案也可以拷打我，如果有别的比较好的题目也可以评论里发一发。 Agent是什么？一个 Agent 系统一般由哪些模块组成？ Agent是具备规划、记忆、工具调用、自我执行能力的系统 Tool 是什么？什么样的功能应该做成 Tool？ tool是提供给Agent的函数，大语言模型不能独立完成的任务以及需要实时性的能力应该做成Tool Memory 分几种？Short-term / Long-term memory 怎么实现？ 最基本的记忆分为短期记忆记忆长期记忆，在此基础上又扩展出了指令记忆以及工作记忆  指令记...