飞尘暮光
2023-11-03 11:54 门头沟学院 深度学习
关注
非要找个理由的话：decoder-only采用的是因果注意力机制，causal attention mask保证了attention score一定是满秩的，而bi-direction attention mask，也就是encoder里所用的不能保证满秩。显而易见，参数矩阵的秩和它的学习能力是相关的。所以decoder-only架构潜力更大，因此也需要更多的数据才训练，模型做大的时候，它的capability是随着尺寸变大有着一个稳定增长。
实际情况：海量数据+更强的训练工程。
查看原帖
8 2
相关推荐
华为工作强度 1186人发布
投递华为等公司8个岗位 > 点赞 评论 收藏
分享
雀青：私企没资格接受档案，貌似国企和公务员有资格接受。而且这些个信息也不是很值钱，1是这些信息本身不能弄出钱来，又不是银行卡密码，2是以现在的信息泄露程度，估计也不算什么秘密。🤗 点赞 评论 收藏
分享
04-28 10:29
门头沟学院 前端工程师 
秋盈丶：后续：我在宿舍群里和大学同学分享了这事儿，我好兄弟气不过把他挂到某脉上了，10w+阅读量几百条评论，直接干成精品贴子，爽 点赞 评论 收藏
分享
牛客热帖
更多
正在热议
更多
# 我的实习收获 #
25111次浏览 433人参与
# 在国企工作的人，躺平了吗？ #
333276次浏览 3862人参与
# 实习吐槽大会 #
26856次浏览 130人参与
# 商战，最累的是我们 #
12744次浏览 50人参与
# 晒一晒你的工位 #
84368次浏览 299人参与
# 我的租房踩坑经历 #
21012次浏览 238人参与
# 穿越回高考你还会选现在的专业吗 #
18512次浏览 235人参与
# 毕业旅行去哪玩儿 #
1029次浏览 29人参与
# 小厂实习有必要去吗 #
46392次浏览 267人参与
# 求职你最看重什么？ #
69552次浏览 393人参与
# 牛友们，签完三方你在忙什么？ #
94910次浏览 837人参与
# 夸夸我的求职搭子 #
190837次浏览 1891人参与
# 摸鱼打卡站 #
39329次浏览 687人参与
# 携程求职进展汇总 #
530374次浏览 3953人参与
# 产运销实习日记 #
51977次浏览 551人参与
# 打工人锐评公司红黑榜 #
145394次浏览 908人参与
# 网易求职进展汇总 #
101835次浏览 982人参与
# 你小时候最想从事什么职业 #
95494次浏览 1720人参与
# 作业帮求职进展汇总 #
52430次浏览 354人参与
# 高学历就一定能找到好工作吗？ #
47548次浏览 589人参与