算法暑期实习面经

面试题简述Transformer中用的是LayerNorm，而不是常见的BatchNorm，这是为什么？面试官想听的意识到不是BN不好，而是不适合Transformer的使用场景。面试回答举例Transformer中选择LayerNorm而不是BatchNorm，主要原因和序列建模方式以及训练场景有关。详情请查看：http://xhslink.com/o/8yJohFzKSX6由浅入深分析1、BN 依赖 batch 统计量。2、LN 只依赖特征维度。3、Transformer 的 token 并行与 BN 设计目标维度不一致。4、自回归推理场景下 BN 表现不稳定。面试加分点1、提出推理阶段 ...

拷打了一个小时😂

三个月真的超级快一转眼就过去了 真的还挺享受干到自己相对喜欢的工作的这段时间，每天都过的挺充实的，部门氛围很好，工作的时候都比较严谨，但也很欢乐 而且超级幸运的是一个部门的人都很nice，天天一起吃饭偶尔摸鱼聊天，现在还真的有一点舍不得 公司福利什么的感觉也蛮好的，健身房咖啡机微波炉冰箱什么的都有，每天下午都有下午茶，一般是水果，偶尔会有酸辣粉冰粉薯片辣条什么的，反正是完全饿不着 公司基本上早九晚六午休一小时45分钟（其实是五点四十五下班）不要求加班，偶尔加一加可以换调休，晚上也有宵夜，我在项目里的时候着急出结果会加一两天（我三个月也就加了几天 没有食堂，楼下有重邮食堂，还有一些别的小餐馆，有...