牛客183146708号
2021-08-21 09:51
关注
在学习率默认1e-3的情况下，batchsize取100更好，10000太大了。正常来说batchsize肯定是越大收敛速度越快，大的batchsize需要的batch数目少，1个小时就可以训练完imageNet。而且大的batchsize梯度更稳定，loss曲线更平滑。但是如果batchsize过大，会导致效果变差（大的batchsize收敛到sharp minimum， 小的batchsize收敛到flat minimum，后者泛化能力更好）。论文中目前研究batchsize超过8000之后，效果就不好了。当然如果能够增大学习率，可能10000是最优的（因为样本量也挺大的）。我觉得面试官这个题目应该多给些条件，比如学习率固定为多少？
查看原帖
1 评论
相关推荐
查看23道真题和解析
牛客热帖
更多
正在热议
更多
# 你觉得大几开始实习最合适？ #
4973次浏览 51人参与
# 租房前辈的忠告 #
379713次浏览 7485人参与
# 厦门银行科技岗值不值得投 #
11791次浏览 294人参与
# 面试被问到不会的问题，你怎么应对？ #
4585次浏览 39人参与
# Vibe Coding 会干掉初级岗位吗？ #
4490次浏览 83人参与
# 如果人生可以debug你会改哪一行? #
2479次浏览 54人参与
# 招商银行数字金融训练营 #
44857次浏览 682人参与
# 你都用vibe coding做过什么？ #
2138次浏览 65人参与
# 做完笔试后你收到面试了吗？ #
4628次浏览 54人参与
# 大厂实习和小厂实习最大的区别是什么？ #
13176次浏览 89人参与
# 牛友の3月总结 #
8670次浏览 85人参与
# 你见过哪些招聘隐形歧视？ #
3052次浏览 35人参与
# AI Coding实战技巧 #
1649次浏览 46人参与
# 你现在一天AI几次？ #
1358次浏览 45人参与
# 秋招的嫡长offer #
421116次浏览 2202人参与
# 找AI工作可以去哪些公司？ #
25360次浏览 1083人参与
# 工作经验重要还是工资重要？ #
156568次浏览 1109人参与
# 金三银四，你的春招进行到哪个阶段了？ #
26836次浏览 305人参与
# 降低公积金和取消房补怎么选 #
29423次浏览 87人参与
# 机械制造面试点评 #
93420次浏览 484人参与
# 哪些公司真双非友好？ #
71452次浏览 305人参与
# 从事AI岗需要掌握哪些技术栈？ #
20050次浏览 1215人参与