I_wanna
2023-09-25 21:51 门头沟学院 测试开发
关注
优化器：SGD，Adam，Rmsprop。Adam叫做动量法或者冲量法，提出的原因是：有时候学习率太大一步会走错很多，所以Adam舍弃了线性函数而采用多项式（该点的泰勒展开式）来更贴近目标。不仅如此，他还考虑了在正确的方向上尽可能地加速，在错误的方向上尽可能地减速：将某个梯度方向上的历史数据大小加权求和，如果很长一段时间梯度大小都大于0，那这个方向说明没有问题需要加速，而如果经常正负交替这说明可能方向错误，则需要放缓抖动。
查看原帖
点赞 评论
相关推荐
投递大疆等公司7个岗位
07-14 13:34
门头沟学院 Java 点赞 评论 收藏
分享
牛客热帖
更多
正在热议
更多
# 你被哪些公司秒挂过？ #
9811次浏览 122人参与
# 26届的你们有几段实习？ #
3779次浏览 78人参与
# 如何提高实习转正率？ #
5289次浏览 103人参与
# 第一份工作应该只看薪资吗 #
153027次浏览 1534人参与
# 大厂面试初体验 #
13980次浏览 93人参与
# 你想留在一线还是回老家？ #
49082次浏览 505人参与
# 你认为哪些项目算烂大街？ #
3808次浏览 94人参与
# 你以为的实习VS真实的实习 #
4765次浏览 74人参与
# 选完offer后，你后悔学本专业吗 #
47936次浏览 239人参与
# 离家近房租贵VS离家远但房租低，怎么选 #
9637次浏览 119人参与
# 你后悔自己读研吗？ #
4555次浏览 122人参与
# 最难的技术面是哪家公司？ #
2972次浏览 36人参与
# 拼多多工作体验 #
29493次浏览 201人参与
# 当下环境，你会继续卷互联网，还是看其他行业机会 #
114055次浏览 793人参与
# 月薪多少能在一线城市生存 #
5487次浏览 111人参与
# leader认为你工作不认真怎么办 #
32159次浏览 151人参与
# 如果可以，你希望哪个公司来捞你 #
104741次浏览 509人参与
# 如果公司降薪，你会跳槽吗？ #
80152次浏览 588人参与
# 妈妈治愈了你哪些脆皮时刻 #
29452次浏览 321人参与
# 如果公司给你放一天假，你会怎么度过？ #
17725次浏览 129人参与