关注
先掌握transformer的架构,然后知道推理的整体的参数情况和开销(包括推理的时候在GPU那部分的计算,通信开销),接着去看各个大模型的架构,比如mqa,gqa,moe,mla的修改,后面看flash attention,稀疏注意力相关的内容,还有什么批推理加速之类的。一个更好的方法是去看项目,让你导师给你几个项目这样会比较有头绪。
查看原帖
14 评论
相关推荐
点赞 评论 收藏
分享
点赞 评论 收藏
分享
牛客热帖
更多
正在热议
更多
# 牛客新年AI问运 #
5906次浏览 92人参与
# 工作中的卑微时刻 #
33377次浏览 199人参与
# 牛客AI体验站 #
16146次浏览 283人参与
# 多益网络工作体验 #
63102次浏览 306人参与
# 有必要和同事成为好朋友吗? #
855次浏览 17人参与
# 正在实习的碎碎念 #
1644598次浏览 13716人参与
# 面试中的破防瞬间 #
1189941次浏览 11026人参与
# 滴!实习打卡 #
786349次浏览 6841人参与
# 工作一周年分享 #
52281次浏览 274人参与
# 秋招吐槽大会 #
304137次浏览 1523人参与
# 机械人的薪资开到多少,才适合去? #
164974次浏览 571人参与
# 你最满意的offer薪资是哪家公司? #
71322次浏览 353人参与
# 大学最后一个寒假,我想…… #
89192次浏览 809人参与
# 哪些公司真双非友好? #
62801次浏览 268人参与
# OC/开奖 #
411170次浏览 2282人参与
# 如果可以选,你最想从事什么工作 #
721744次浏览 4870人参与
# 如何提高实习转正率? #
86432次浏览 504人参与
# 重来一次,你会对开始求职的自己说 #
32712次浏览 388人参与
# 如何确定求职岗位 #
723375次浏览 6427人参与
# 面试线索爆料 #
108606次浏览 641人参与

查看11道真题和解析