腾讯-混元大模型面经-华5硕-附内推链接

需要内推码的可以用下面这个链接:
内推链接:https://join.qq.com/resume.html?k=ANQI6RfQ3rhPS2dpyIkeSw
#26届实习##大模型##八股##面经##腾讯##内推#

腾讯-混元大模型面经-华5硕

部门与岗位:TEG - 混元大模型团队 - 大模型对齐
一面
自我介绍,过实习,讲论文,论文过的比较细,有说的笼统的地方面试官会实时进行询问交流
了解哪些大模型,简要挑一两个介绍一下,当时说了 Qwen 和 DeepSeek,然后面试官又问了这两个有什么区别
接着上一问,为什么大家都开始探索 MoE 架构,MoE 相比 Dense 有什么好处
在之前实习的时候用 LoRA 微调过 Qwen,于是问了有没有全量微调过,有没有对比过两者的性能表现
讲一下大模型训练和推理的流程,SFT 和 RLHF 的作用分别是什么
在 RLHF 中,目前主流的强化学习算法有哪几个,写一下损失函数的表达式
代码:22. 括号生成
代码:多头自注意力
一面问的八股还是比较多的,问的也比较细,而且还写了两道代码题,整个面试花的时间也比较多,大概一个半小时左右
二面
自我介绍,过实习和论文,面试官会一起进行探讨,包括工作的动机、贡献和结果,也会提一些问题和建议
之前实习用 DeepSpeed 微调过 Qwen2-72B,于是面试官问了 ZeRO-1,ZeRO-2,ZeRO-3 三个模式的区别
当时你用 DeepSpeed ZeRO-3 来微调 Qwen2-72B,每一张卡占用的显存大概是多少,估算一下为什么是占这么多的显存

除了 DeepSpeed,还用过其他的什么优化方法吗
我看你也用到了 LoRA,知道 LoRA 的原理吗,A 和 B 两个矩阵怎么初始化,有了解过其他的初始化方法吗
对 RLHF 了解的多吗
代码:3. 无重复字符的最长子串
二面更多的是结合具体的工作来问的,从用到的东西来引出问题,问的也比较灵活。当然因为部门主要是做对齐的,所以也大概聊了聊 RLHF
三面
自我介绍,挑一个觉得做的比较好的论文和实习讲一下,面试官问的比较详细,为什么选现在这种方案,为什么 work,其他方案有考虑吗
在微调 Qwen 的时候,数据是怎么构造的,有用到什么数据清洗方法吗,数据配比是怎么做的
讲一下 RLHF 的流程,之前有用 RLHF 做过模型对齐吗
在做对齐的时候,为什么 SFT 之后还要做 RLHF,只用 SFT 可以吗
知道哪些强化学习算法,除了 PPO 和 DPO 这些呢,DeepSeek 用的 GRPO 相比于 GPT 的 PPO 做了哪些改进
开放题:对目前大模型的发展有什么看法
代码:零钱的两个题 322. 零钱兑换518. 零钱兑换 II
三面面试官更聚焦于对齐这一块的内容,考的比较深。由于之前没有接触过强化学习,答得还是比较吃力的,不过面试官还挺好的,会一起讨论来做引导
四面
自我介绍,过论文和实习,问的也比较细,这里能明显的感受出来面试官的视角更系统,会把这些工作串起来问我看你简历上没写 RLHF,平常有用过 RLHF 吗
推导一下神经网络反向传播的过程一道排列组合的概率题
开放题:你觉得大模型目前还有哪些可以改进的点
四面整体更看重思维和基础,没有考察什么八股
总结
一共四轮技术面,整体来说强度比较大,对于大模型八股的考察比较细,对大模型的理解问的也比较深刻,包括一些数理逻辑基础,考察的比较全面
全部评论

相关推荐

第一年:如题,本人22届毕业生,学历双非一本,应届时还总刷力扣,每天实习上下班刷牛客上的面试题,当时中大厂offer 3-4个,小厂offer通过率80%以上,几乎面就给offer,因为大厂的都是非核心部门,就选择去了一个非一线城市的中厂,虽然薪资只有14k,工作每天勤勤恳恳,肯定是组内最后一个走,自己工作完成后看看组内代码,23年9月开始,公司内部传出裁员,其他组应届生陆陆续续出现被裁,防止被裁不好找,就主动投简历,1个月内,拿到一家同base20k的口头offer,为了利益最大化,想抓紧拿到赔偿,天天迟到+到点准时走,一周内如愿拿到n+1,不出意外,我的offer应该审批完了,转折点来了,offer审批没通过,原因是综合评估有比我更好的,接下来就是比较难受的遭遇了第二年:当时很慌,天天晚上睡不着觉,每天把boss直聘投满,可能当时背景还不错,一周内,滴滴,美团,携程,飞猪,网易,百度,字节等大厂都约到了面试,不出意外,全挂,只有飞猪走到了hr面,也是综合评估挂了,然后开始投中小厂,两周内拿到了北京18*14的offer和成都15*14的offer,北京是一个厂大但不是大厂的企业,而且当时觉得,还没应届时给开的多,应届大厂的白菜价都是20k+的,成都是个初创公司,老板说的很好,我们第一批进去的人盈利会给股份和期权,而且有位10年经验阿里P7的大哥一对一带我,当时果断去了,老板人真心不错,大哥也很好,天天10点上班,晚上6点准时就走,真的感觉很舒服,觉得能稳定下来,力扣也不刷了,题也不做了,6点准时去健身跑步,好景不长,24年7月,老板融资失败,资金链断了,公司直接解散,连赔偿也没有,好好好,又开始找工作了第三年(第一次求职):因为长期没刷力扣,算法几乎都不会做了,投了个成都的蚂蚁和贝壳,全挂,这时也没那么执着于中大厂了,就全国海投,2周3offer,一个北京的18*16,一个18*14,一个上海的20*14(当时说10个转正4个,果断拒了),这时候,去一线薪资没到20k,我也接受了,18*16的年终写到offer里,而且公积金社保都最高比例,另外的一家是最低标准,每个月210的公积金,回家玩2周,来北京租房+入职就用了3天,可能在成都呆的太爽,一来哪哪都不适应,租房翻了一倍,hr说好的天天7点就能走,结果是天天7点大哥们都回家办公,10点活都干不完,每天11点走,加班强度巨大,和同事混熟了才知道,就在去年3月份,我那工位的上一个大哥猝死了,就死在了我的那个工位上,组内来了几个大厂出来的大哥,全适应不了,3月内全跑了,emmm,不知道我是真身体顶不住,还是心理作用,连续几天感觉头晕,去医院一查,左心房回流+血压150+,天天心脏不舒服,和女朋友说完全不理解,她总说,为啥全世界就你累,而且说我来北京,陪她说话少了,她说没有安全感,我俩总产生矛盾,12点到家,一般都会先吵2个小时架再睡,再自己心里难受个1个点,那4个多月几乎天天都凌晨3点多休息,8点半起来上班,每天眼眶都是红的,处了6年的女朋友也分手了,真心有点顶不住了,和爸妈说不太想干了,想换个轻松点的,然后硬挺到过年,拿了个年终,绩效给打的15薪,干了半年,一折合也就1个月左右,当时信心十足,觉得这一个月内肯定能找到合适的,然后。。。。第三年(第二次求职):因为老家东北,想就直接找北京的,回家还方便,当时也挺顺利,2月5号开始找工作,到2月20号,3周4个offer,一个几个人小公司,14*14,一个外包,15*14,一个ai相关的,18*15,一个和原来项目一样的公司,19*14,因为觉得ai发展肯定要比我原来项目要好,果断去了,hr当时说,试用期全薪,但是要签3月劳务合同,从来也没试用期挂过,就没当回事,领爸妈旅游了1周,3月3号入职,好好好,入职之后,研发团队就10几个人,后端就4个,ai还不是我们做,有个算法的大哥专门做,寻思来都来了,那就干吧,以后看看ai咋实现的,出去面试就吹自己的东西还不行吗!!!我负责的是一个新的业务,从产品-前端-后端-测试,都是新人,产品写完产品文档,第二周钉钉给他发消息,直接人没了,当时就觉得有点怪,然后不给时间熟悉业务,立马让我们投入开发,需求文档只写了第一版,完全不明确,项目经理就说,让我多问产品,TMD产品都走了我问谁?说让我问之前的产品+1,结果需求是改了一版又一版,让我在两周内上线,emmmm,又开始天天加班到9-10了,周末还加了一天班,说给调休,第三周前端ui代码刚提测第二天,正和前端对接呢,他和我说试用期没过,立马给我惊到了,上网一查,劳动合同和劳务合同的区别,好家伙,原来是不缴社保,没赔偿,当时就预感不好,不出所料,那周技术总监在cr代码的时候,不看逻辑,开始找我英语单词使用了,印象很深刻,课程的实体,我命名为LessonDTO,他说我为啥不用Course,这都不懂吗,我真不知道啥区别,无力反驳,3月20日,我负责需求全部提测,3月21日bug修改完,找我谈话,试用期没过,劳务合同没赔偿,我真nm,当时心里真有一万个cnm想骂出来,哈哈哈第三年(第三次求职):当时问了下之前19k的offer能不能狗回来,hr说都招满了,然后从3月24到今天4月14,面了3周整,一共面了6家,其中一家一面还没给反馈,剩下5家,一个嫌我今年要的多(去年开18*14的那家,我今年要20,因为他公积金每月210,我上家每月4320),一个综合评估挂,一个口头开19*14,今天上午10点告诉我hc没审批下来,一个开18.5*15,流水都交上去了,结果他们找到更好的了,一个今天hr找我说offer开15*15,公积金全额5%,然后在2个小时内,说offer又发不了了,这点提一嘴,前前公司产品在这家待过,我问了下他这加不加班,公司咋样,他说帮我说说好话,联系下这的研发总监,结果他给人来一句,我技术不好,去这了多照顾照顾我,offer直接发不下来, hr在boss上没和我说原因,打电话给我说了下怎么回事,哈哈哈希望五一前能找到满意的吧,最近这一年,经历的不一样了,心态反倒好了,希望大家在找工作的时候,也都擦亮擦亮眼,现在坑人的公司太多了!!!加油
菜鸟一枚😬😬😬:感觉近2年就业行情不太好,希望大家也别太焦虑,有些东西都是我们自己选择的,既然选择了,就得承担后续带来的问题,希望大家在选择上可以多考虑考虑
点赞 评论 收藏
分享
评论
2
3
分享

创作者周榜

更多
牛客网
牛客企业服务