前言我的速成找实习/春招的经验帖子：链接我的学习后端和agent2手抓的专栏：链接第一梯队（互联网大厂）腾讯（微信总部）（天河）：微信/腾讯云广州研发中心网易（总部）（天河）：游戏 + 音乐 + 严选阿里巴巴（华南总部）（天河/海珠）：阿里云、电商字节跳动（分部）（天河/海珠）：抖音电商、研发中心百度Apollo（研发中心）（黄埔）：自动驾驶 + 智能交通京东（华南总部）（黄埔）：电商科技 + 供应链物流华为（研发中心）（白云）：5G通信 + ICT + 云计算第二梯队（细分领域）小鹏汽车（总部）（天河/番禺）：智能汽车研发 + 制造唯品会（总部）（天河/海珠/荔湾）：电商特卖 + 供应链欢聚...

明天下午面这家，jd写的很高，有点害怕

1. Transformer 为什么使用多头注意力机制，为什么不只用一个头？多头注意力的核心，不是单纯把一个 attention 做很多遍，而是让模型在不同子空间里同时学习不同类型的关系。一个头可能更关注主语和谓语的关系，另一个头可能更关注长距离依赖，还有的头更容易学到局部词序和语义搭配。如果只用一个头，模型也能做注意力，但它只能在一个投影空间里建模，表达能力会受限。多头的做法是先把输入分别线性映射成多组 (Q,K,V)，每组各自做 attention，最后再拼接起来。这样模型就能从多个角度同时看同一句话。公式一般写成：其中：所以多头的本质价值是：增强表示能力，而不是简单重复计算。2. 为什么...