面试里如果被问到“为什么Attention要做成多头，而不是单头就够了”，很多人会先回答一句：“因为多个头可以关注不同子空间的信息。”这个方向并没有错，因为我最一开始学算法的时候，也思考过这个问题，但那会儿搜到的也就是这些原理罢了，但问题在于，这个说法太抽象了。面试官如果继续追问一句“什么叫不同子空间？到底不同在哪”，很多人就接不下去了，反正我到毕业写完论文了都没想过这个点。要把这道题答好，其实需要先回答一个更本质的问题：如果只有一个头，究竟会出什么问题？把这个问题讲透，多头注意力的问题也就解答了。（我的回答建议在文末）一、先别急着讲多头，先看单头的瓶颈到底是什么先从单头注意力开始。假设输入序...

目标后端

我突然意识到一个问题：我已经连续三个月没学到新东西了。打开飞书文档看了眼这个月的工作记录，全是重复劳动：改方案、对数据、催进度、写周报。技术上的事儿？一行代码没写，连GitHub都快长草了。凌晨回家的地铁上，我问了自己一个问题：我现在的工作，到底是在成长，还是在消耗？什么是"消耗型"工作这半年我观察了下身边的同事和朋友，发现大家其实都能感觉到自己的工作是成长型还是消耗型，只是不愿意承认而已。消耗型工作有几个明显特征：每天都很忙，但说不出在忙啥 我有个朋友在某大厂做运营，每天钉钉消息800+条，微信群十几个，全天候在响应各种需求。但你问他这个月做了啥有价值的事，他想了半天说：...