关于bn和ln

二面的时候面试官问我为什么transformer不用bn而是用ln。我看了几个网上的八股回答,结果面试官还是不满意,有没有懂哥讲一下啊? #nlp# #腾讯#
我的回答也是不同句子长度不一样,然后每个句子的位置不一样,可能是表达不大好,那个老东西不满意
全部评论
因为transformer输入的序列长度不固定,bn是算每一个特征的均值和方差,序列长度不一样,计算的时候有的地方有值有的地方没有,不好计算。ln是对每一个样本单独计算,即使每个样本长度不一样也不影响计算
17 回复 分享
发布于 2024-04-07 18:04 新加坡
BN和LN是不同纬度的归一化 LN是特征层面的归一化不会因为序列长度差距过大受影响,BN是batch size纬度归一化因此序列长度会影响。具体怎么用都看实际情况是啥样的 没那么绝对 手撸一下公示记忆比较深刻
4 回复 分享
发布于 2024-04-08 12:03 陕西
transformer对句子或者序列建模,每一个token位置的语义并不像tabular数据或者图像那样特征是固定的吧,用bn就默认是那样对齐处理了
4 回复 分享
发布于 2024-04-04 21:00 安徽
说一个很novel的观点…… bn一般用在图像上,当我们对图片抽取特征后,会得到不同通道的特征,这些通道特征对batch内样本具有同样的含义。例如一个人有年龄,身高等特征。而nlp中,如果要进行bn,则是对不同句子的第i个token进行处理,举个例子"我爱你"和"牛客网",其中的我和牛并没有相同的含义,所以解释不通。还有一个点就是你所说的每个句子长度不同,对于短句子我们需要pad,那么如果进行bn就需要将pad.和长句子中的token进行处理,这样也是不合理的。
3 回复 分享
发布于 2024-04-13 02:02 贵州
如果往深里说,可以结合上Lipschitz常量,self-attention的Lipschitz常量比较大,也就是上下界浮动大,BN层无法有效约束。这个点比较深,还可以延伸到LN的变体RMSNorm。 虽然从理论上可以讲的很深,但其实主要还是实验上有效,这些八股属实没意思。
3 回复 分享
发布于 2024-04-07 16:57 广东
因为一个句子不会因为词的位置发生变化而改变语义。
2 回复 分享
发布于 2024-04-08 20:25 浙江
bn不好用啊,长度不一样
点赞 回复 分享
发布于 2024-07-01 19:02 北京
Bn和batch大小关系很大,而句子长度并不固定。并且,对不同句子的同一位置的特征做归一化并无意义。
点赞 回复 分享
发布于 2024-04-08 14:48 河北

相关推荐

本人双九硕,主攻多模态算法方向,理解与生成方向均有相关经验。除腾讯外,大部分岗位都是三月中旬投递,整体流程周期基本在两周左右。各厂进度汇总高德:三面已 OC投递的是研究岗,内心还是更偏向做研究方向,如果没有更合适的选择,大概率会接这个 offer。腾讯:四面 OC,已拒绝三月初投递,被 WXG 捞起,近期才给到 OC,但还是选择拒绝了曾经的理想方向。字节:HR 面通过,已拒偏业务向岗位,代码面试考察得非常深入,原本以为会挂掉,没想到顺利通过,不过考虑到转正率偏低,最终放弃。百度:二面失利偏向半研究半业务,方向不算特别契合,面试过程中双方思路存在分歧,整体体验一般。淘天:一面秒挂算是第一次体验到面试后快速结束流程的情况。阿里控股未来生活实验室:一面挂从多模态生成到理解被深度追问,很多问题确实超出了知识范围,但面试官会耐心讲解,面试体验极佳,也是本人最心仪的团队,遗憾未能通过。阿里云:二面待后续二面面试官暗示通过,目前还未安排 HR 面。面试覆盖论文、实习、基础知识与开放性问题,对基础功底要求极高。千问通义:仍在简历评估一直在等待被捞面试,希望能有机会。快手:简历未通过此前未投递过相关岗位,不清楚简历筛选未通过的原因。蚂蚁:笔试失利笔试前没有针对性准备机器学习题目,答题情况不理想,目前简历持续评估中。米哈游:简历未通过自嘲大概是原神游玩时长不够吧。其他企业暂时还未进行投递,暑期人才计划早上刚投递,下午就收到拒信,确实难以企及。整体感悟体感上业务类岗位比研究岗更容易拿到机会。原本计划深耕多模态理解方向,面试下来却发现接触到的多模态生成相关机会越来越多。面试核心围绕论文、实习经历与实际场景展开,八股文考察极少。手撕代码的环节也没有想象中频繁,多数仅在一面进行考察,后续面试很少再涉及。
点赞 评论 收藏
分享
评论
12
53
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务