BN的归一化操作放在激活前还是激活后，两种有什么区别

大佬们求解答，面试之前被问到了，我回答的是激活函数前，但是好像听说可以放在激活函数之后，不懂啊，两者有什么区别，有大佬解答下吗？谢谢#求面经#
全部评论
一般是卷积-BN-Relu.Sigmoid：如果先BN再Sigmoid，由于BN后方差接近于1，均值接近于0，使得BN后的数据接近于Sigmoid的线性区域，降低了激活函数的非线性能力，这种情况下建议Sigmoid+BN。Relu：如果先Relu再BN，Relu后部分神经元已经失活，失活的神经元将对BN的归一化产生影响，这种情况下建议BN+Relu。来自知乎，遇到问题上网先搜。
3 回复 分享
发布于 2020-05-03 13:50
艾玛。。只怪我当初设计模型结构的时候不走心，现在怕给审稿人问到😣
点赞 回复 分享
发布于 2021-12-22 21:07
&先BN后激活吧，否则可能失活。
点赞 回复 分享
发布于 2020-05-03 12:06
都可以
点赞 回复 分享
发布于 2020-05-03 12:00

相关推荐

11-06 18:16
南昌航空大学 Java
点赞 评论 收藏
分享
11-06 23:03
点赞 评论 收藏
分享
09-28 23:07
襄阳职业技术学院 网络安全
点赞 评论 收藏
分享
10-12 10:53
杭州电子科技大学 Java
绷不住了
牛客96763241...：杭电✌️也是打完招呼，没人回吗
点赞 评论 收藏
分享
11-05 17:53
门头沟学院 Java
点赞 评论 收藏
分享
评论
3
5
分享

招聘动态

查看更多

字节跳动火山引擎

2026校园招聘

联想

2026届校园招聘

字节跳动

2026校园招聘

联想

26届AI专项｜内推码NK2026

快手

2026届校园招聘

联想

2026届校园招聘

完美世界

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 同bg的你秋招战况如何？ #
173264次浏览 1015人参与
# 2022毕业即失业取暖地 #
115612次浏览 702人参与
# 联影求职进展汇总 #
50533次浏览 321人参与
# 你实习是赚钱了还是亏钱了？ #
28747次浏览 236人参与
# 哪些公司校招卡第一学历 #
219503次浏览 775人参与
# 用一句话形容你的团队氛围 #
17517次浏览 176人参与
# 360集团校招 #
20539次浏览 159人参与
# CVTE求职进展汇总 #
22384次浏览 319人参与
# 牛客租房专区 #
122138次浏览 1347人参与
# 毕业论文进行时 #
5964次浏览 80人参与
# 联影医疗求职进展汇总 #
5265次浏览 24人参与
# 嵌入式岗知多少 #
58097次浏览 548人参与
# 58同城求职进展汇总 #
39563次浏览 263人参与
# 我来点评面试官 #
15448次浏览 109人参与
# 机械人与华为的爱恨情仇 #
136629次浏览 1011人参与
# 面对逼签的应对技巧 #
6198次浏览 31人参与
# 扒一扒那些奇葩实习经历 #
126020次浏览 1097人参与
# 今年秋招是回暖还是遇冷 #
29503次浏览 187人参与
# 找实习你看重大厂光环还是业务方向 #
40905次浏览 163人参与
# 腾讯音乐求职进展汇总 #
135367次浏览 1004人参与
# 三一集团提前批进度交流 #
41766次浏览 229人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务