拼多多内推内推内推拼多多

面试里如果被问到“为什么Attention要做成多头，而不是单头就够了”，很多人会先回答一句：“因为多个头可以关注不同子空间的信息。”这个方向并没有错，因为我最一开始学算法的时候，也思考过这个问题，但那会儿搜到的也就是这些原理罢了，但问题在于，这个说法太抽象了。面试官如果继续追问一句“什么叫不同子空间？到底不同在哪”，很多人就接不下去了，反正我到毕业写完论文了都没想过这个点。要把这道题答好，其实需要先回答一个更本质的问题：如果只有一个头，究竟会出什么问题？把这个问题讲透，多头注意力的问题也就解答了。（我的回答建议在文末）一、先别急着讲多头，先看单头的瓶颈到底是什么先从单头注意力开始。假设输入序...

不过还是挺开心的hhh

1. 如果让你从 0 到 1 设计一个企业级 Agent 平台，你会怎么划分 Planner、Memory、Tool、Knowledge、Runtime、Evaluation 这几个模块？边界怎么定？我一般不会按“大模型功能”来拆，而是按“责任是否稳定”来拆。Planner 只负责决定下一步做什么，不负责真正执行；Tool 只负责把外部能力标准化，不参与推理；Knowledge 负责把文档、结构化数据、权限和索引组织成可检索资产；Memory 只存跨步、跨轮、跨会话还需要被引用的信息；Runtime 负责状态推进、超时、重试、回放和观测；Evaluation 则独立出来，不跟在线链路耦合，因为...