面试题简述Transformer中用的是LayerNorm，而不是常见的BatchNorm，这是为什么？面试官想听的意识到不是BN不好，而是不适合Transformer的使用场景。面试回答举例Transformer中选择LayerNorm而不是BatchNorm，主要原因和序列建模方式以及训练场景有关。详情请查看：http://xhslink.com/o/8yJohFzKSX6由浅入深分析1、BN 依赖 batch 统计量。2、LN 只依赖特征维度。3、Transformer 的 token 并行与 BN 设计目标维度不一致。4、自回归推理场景下 BN 表现不稳定。面试加分点1、提出推理阶段 ...

秋招一败涂地。。。😭

之前以为这种情况都是网上开玩笑的，现在真让我遇到了

“实习没人带”是每届实习生的高频痛点。例如：入职一周，导师不理，文档不全，每天都在装忙。面对这种情况，很多人在“苟住混经历”和“跑路止损”之间反复内耗。作为过来人，建议大家不要单纯用情绪做决定，而是从投入产出比的角度来完成自己的决策。一、评估“隐性资源”的价值（含金量判定）实习的收益不是有人手把手教你写代码，而是环境浸染和权限获取。请先check一下你手头的权限：代码权限： 你能拉到核心业务的Repo吗？能看到组内的Git Commit Log吗？文档权限： 公司的Wiki、技术方案设计文档（Design Doc）、复盘报告，你有浏览权限吗？）（语雀，飞书等）数据/算力权限： 对于算法岗（尤其...