腾讯-混元大模型面经-华5硕

部门与岗位:TEG - 混元大模型团队 - 大模型对齐
一面
自我介绍,过实习,讲论文,论文过的比较细,有说的笼统的地方面试官会实时进行询问交流
了解哪些大模型,简要挑一两个介绍一下,当时说了 Qwen 和 DeepSeek,然后面试官又问了这两个有什么区别
接着上一问,为什么大家都开始探索 MoE 架构,MoE 相比 Dense 有什么好处
在之前实习的时候用 LoRA 微调过 Qwen,于是问了有没有全量微调过,有没有对比过两者的性能表现
讲一下大模型训练和推理的流程,SFT 和 RLHF 的作用分别是什么
在 RLHF 中,目前主流的强化学习算法有哪几个,写一下损失函数的表达式
代码:22. 括号生成
代码:多头自注意力
一面问的八股还是比较多的,问的也比较细,而且还写了两道代码题,整个面试花的时间也比较多,大概一个半小时左右
二面
自我介绍,过实习和论文,面试官会一起进行探讨,包括工作的动机、贡献和结果,也会提一些问题和建议
之前实习用 DeepSpeed 微调过 Qwen2-72B,于是面试官问了 ZeRO-1,ZeRO-2,ZeRO-3 三个模式的区别
当时你用 DeepSpeed ZeRO-3 来微调 Qwen2-72B,每一张卡占用的显存大概是多少,估算一下为什么是占这么多的显存

除了 DeepSpeed,还用过其他的什么优化方法吗
我看你也用到了 LoRA,知道 LoRA 的原理吗,A 和 B 两个矩阵怎么初始化,有了解过其他的初始化方法吗
对 RLHF 了解的多吗
代码:3. 无重复字符的最长子串
二面更多的是结合具体的工作来问的,从用到的东西来引出问题,问的也比较灵活。当然因为部门主要是做对齐的,所以也大概聊了聊 RLHF
三面
自我介绍,挑一个觉得做的比较好的论文和实习讲一下,面试官问的比较详细,为什么选现在这种方案,为什么 work,其他方案有考虑吗
在微调 Qwen 的时候,数据是怎么构造的,有用到什么数据清洗方法吗,数据配比是怎么做的
讲一下 RLHF 的流程,之前有用 RLHF 做过模型对齐吗
在做对齐的时候,为什么 SFT 之后还要做 RLHF,只用 SFT 可以吗
知道哪些强化学习算法,除了 PPO 和 DPO 这些呢,DeepSeek 用的 GRPO 相比于 GPT 的 PPO 做了哪些改进
开放题:对目前大模型的发展有什么看法
代码:零钱的两个题 322. 零钱兑换518. 零钱兑换 II
三面面试官更聚焦于对齐这一块的内容,考的比较深。由于之前没有接触过强化学习,答得还是比较吃力的,不过面试官还挺好的,会一起讨论来做引导
四面
自我介绍,过论文和实习,问的也比较细,这里能明显的感受出来面试官的视角更系统,会把这些工作串起来问我看你简历上没写 RLHF,平常有用过 RLHF 吗
推导一下神经网络反向传播的过程一道排列组合的概率题
开放题:你觉得大模型目前还有哪些可以改进的点
四面整体更看重思维和基础,没有考察什么八股
总结
一共四轮技术面,整体来说强度比较大,对于大模型八股的考察比较细,对大模型的理解问的也比较深刻,包括一些数理逻辑基础,考察的比较全面

需要内推码的可以用下面这个链接:
内推链接:https://join.qq.com/resume.html?k=ANQI6RfQ3rhPS2dpyIkeSw
#26届实习##大模型##八股##面经##腾讯##内推#
全部评论

相关推荐

05-20 11:02
已编辑
华中科技大学 Web前端
timeline:五天速通,使劲催4.23→4.24→4.27→4.284.23:一面是两个面试官交替拷打,记不太清楚了#拷打项目:    1.讲讲你在过去学到最多最、能体现能力的经历(吟唱)→虚拟加载具体怎么实现的?→如果有更大数据量呢?(虚拟加载和全量加载一起)    2.项目用了websocket,具体怎么用的?(感觉主要想听心跳和重连机制)→和http、https的区别→讲讲http1.0/1.1/2.0    3.项目看你写了负责登录,讲讲具体怎么实现的?(感觉主要想听token机制)→token和session的区别# 下面是八股:    1.输入url到页面显示的过程(吟唱)→ 问我stl过程以及加密算法的具体机制(在准备范围内,就是算法的具体公式说出来就行了)    2.js的find和findindex的区别(findindex没用过,一下子没想起来,直说不会了)→findindex不会,改成了map、weak map、普通对象的区别→提到了js的回收机制,展开讲讲    3.flex布局实现左固定右自适应    4.讲讲js原型和原型链(吟唱,没有追问)# 手撕:    1.两个链表排序(easy)    2.js事件循环输出题(加了async有点坑的那种类型)    3.用promise实现一个setTimeout(easy类型)-------------------4.24二面:全程只有两道手撕算法+一个问题:   1. 给定excel列名,返回相应的列号(比如A是1,AA是27,以及Excel的最大列是XFD)   2. 双向的好友,a是b的好友,那么b一定是a的好友,现在给定一一个用户列表,其中有些用户是好友,有些不是,请判断,这些用户是否可以划分为两组,并且每组内的用户,互相都不是好友。如果能,请给出这个划分。例子1:用户:{1,2,3},好友关系:{1-2,2-3},划分: {1,3} {2}   一个经典二分查找 一个Excel列名获取列号,问了一下最难的项目经历和写过的代码数量,没有追问。然后结束,虽然也有一个小时------------------4.27更新:终于让我催来了面委会,25min飞速结束。而且没有反问,因为我是下午两点半接到电话本来说五点面,答应了,结果三点五十打电话说四点面,我接下来了,估计面试官很忙,面了半个小时快速结束了# 面委会:   1.说说你能提现能力的经历(吟唱就行了)   2.怎么实现pc上两个浏览器窗口间交互(不会,之前来网上看过,大家都说是纯炫技没啥实用性,我就也不看,结果被问了。只好猜中间桥梁,本地数据交互啥的)   3.怎么设计一个俄罗斯方块网页游戏→怎么优化交互细节→用什么数据结构存储方块间的碰撞   4.面试官给评价,说了优缺点,直接告知会给过,但还需要多学-------------------4.28:11:50收到电话12:00的hr面,30min过,进到录用评估,爱信等了hr面:1.个人介绍2.是怎么想要往前端发展的?3.问项目细节:怎么想到要做商城的?上线了吗?你主要负责什么?你觉得里面有什么能体现你个人能力的部分?这里面有没有对功能和进度的取舍把控?4.平时喜欢什么?(打游戏、户外)5.对自己的评价,优缺点之类的?(优点很容易说,缺点我说的是不擅长应试考试,不喜欢刷题,引申到我绩点不太高保不了研以及我更侧重于技术实践)→那有没有想过怎么克服这个缺点呢?(没克服哈哈哈,我的回答是我很清楚我不想要为了虚无缥缈的成绩违背我自己去刷大量往年题,而且我自己目标很清晰,我想要本科就业,考试只要能有80多分就够了)6.你说你是J人,那如果有那种偏离计划的情况,你会怎么办?(我拿旅游天气突变和我前面的组队项目经历举例子说明了)7.验证一些个人信息over  hr面的回答一定要听清楚问题,hr这边不喜欢答非所问和反复确认,而且一定要逻辑顺畅且自信,同时hr可能不是专业的,很多回答需要自己润色一下变成hr能听懂的,比如说setTimeout最好换成定时器这种说法。以及回答的时候不要太空泛,最好联系到实际例子和项目经历来回答。回答的时候脑子转快一点,快速过一下逻辑,不要给自己留坑,最好callback一下前面的回答,如果能做到这样其实整场面试就能hold住,就是在顺着你的节奏走,通常是能过的。感觉准备暑期的过程中有很多经验,尤其是最后一周在面试技巧上突然顿悟,等下再开个帖子记一下。
腾讯二面916人在聊 查看22道真题和解析
点赞 评论 收藏
分享
04-30 16:52
已编辑
南京航空航天大学 C++
没有开摄像头,但是解释了一下原因。总体来说体验比二面好多了。1、自我介绍2、实习时间确认3、C++和C语言的区别「面向过程和面向对象、库的优势、三大特性、内存管理」4、C++和C语言调用一个函数的区别?(回答了函数重载,类成员来调用,this指针)A* a = nullptr;a.dosomethis();a对象的作用?——a的地址初始化了this指针,this指针默认在成员函数的第一个形参5.多态如何实现?「虚表」(画图讲解更清晰)派生类重写覆盖的表述,派生类覆盖基类的虚表,(派生类和基类的虚表相同(具体是什么关系)?)6.多态有什么好处,具体应用?7.用C语言实现多态?回答到了网络套接字的(sockaddr)(sockaddr_in)的多态设计。用一个标记来区分:AF_INET/AF_UNIX做区分send函数不仅需要区分,还需要一个可调用对象(函数指针)来执行不同的动作。8、类内部的public,private,protected内存中成员在内存中需要有标记(public,private,protected的标记)吗?实际上是在编译阶段的语法分析的作用。访问private,编译就无法通过。9、项目TCmalloc主要想要解决什么问题?10、malloc的底层?如何与系统调用动态交互?11、malloc的线程安全与可重入?12、malloc内部加锁的粒度?malloc内部在读写的时候需要加锁吗?13、虚拟地址如何映射到物理地址?14、能否接受Go语言?15、反问   
点赞 评论 收藏
分享
评论
1
10
分享

创作者周榜

更多
牛客网
牛客企业服务