面试里如果被问到“为什么Attention要做成多头，而不是单头就够了”，很多人会先回答一句：“因为多个头可以关注不同子空间的信息。”这个方向并没有错，因为我最一开始学算法的时候，也思考过这个问题，但那会儿搜到的也就是这些原理罢了，但问题在于，这个说法太抽象了。面试官如果继续追问一句“什么叫不同子空间？到底不同在哪”，很多人就接不下去了，反正我到毕业写完论文了都没想过这个点。要把这道题答好，其实需要先回答一个更本质的问题：如果只有一个头，究竟会出什么问题？把这个问题讲透，多头注意力的问题也就解答了。（我的回答建议在文末）一、先别急着讲多头，先看单头的瓶颈到底是什么先从单头注意力开始。假设输入序...

不过大厂的面试确实比小厂能学到更多

最近十分焦虑，本来计划找java岗的，结果现在这个时代，什么都要带上ai，本来就有一大堆java八股文没背，还要仓促的学agent，但学的都是基础呀。简历上那些都是提示词工程，让AI输出指令格式，然后程序判断，也没什么含金量。完全没有什么竞争力😭，唯一的竞争力就是实习时间可以长些吧。但我也找不到适合的学习项目，另一方面自己也比较着急。想要快点找实习。求大佬们指点一下小弟😭😭😭

这段时间越来越强烈的一个感受是：现在不少人对 Agent 开发的理解，还停留在“接个大模型接口 + 配几个工具 + 跑个演示页面”这个阶段。但只要项目开始往真实场景走，问题立刻就会从“能不能跑起来”，变成“能不能稳定工作”。也就是说，Demo 阶段拼的是搭建速度，落地阶段拼的是系统能力。真正折磨人的，从来不是那几行 API 调用代码，而是后面一整串工程问题：工具该怎么组织，模型才能正确选用？检索链路怎么设计，召回效果才足够稳定？上下文越来越长时，记忆如何管理？模型一本正经胡说八道时，系统如何收口？想让体验更自然，流式输出该怎么处理？这些才是 Agent 开发真正开始“见水平”的地方。先说一个现...