字节大模型面到三面了!撑住!

继续贴一下整理好的面试记录😬


面试问题:
- MLA是怎么做的?为什么它比LoRA快?同样是低秩分解,为啥推理时LoRA慢而MLA快?
- LoRA算法是怎么工作的?它的参数是怎么初始化的?你觉得它有什么缺点?
- 能介绍一下Flash Attention吗?它是怎么做到既省显存又提速的?
- 能聊聊你在阿里做的工作吗?RM的MoE结构为什么这么设计?参数量大概是多少?
- 提升模型的推理能力和指令跟随能力,哪个更难?为什么?优化指令跟随能力的方法和优化推理能力的方法有什么不同?
- RLHF的幻觉实验具体是怎么做的?能详细说说实验步骤吗?
代码题:
- 用np手撕beam search,我大概写了下实现,比如怎么办理beam中的序列,怎么计算新序列得分,这个确实抽象了(既然遇见了,有时间还是准备一下吧)

还有需要注意的是,在面试的时候,进入飞书会议后,不要切换后台!不要切换网页!不要切换窗口!只要切换了,就会被检测到(字节面试官亲自提示过😭
全部评论
请教下这个是用飞书会议app切网页会被检测到吗?忽然想起来之前面试有过邮箱弹窗
点赞 回复 分享
发布于 04-11 17:25 浙江
加油,借楼,我们这里缺大量算法工程师,有需要neitui联系我
点赞 回复 分享
发布于 04-08 17:49 天津

相关推荐

05-08 17:04
已编辑
浙江大学 算法工程师
面试问题:- (针对简历提问)你工作里主要关注哪些指标?解释一下AUC含义、计算和作用- 主流的开源大模型结构有哪些?(prefix decoder,casual decoder、encoder-decoder)- 介绍一下layernorm和batchnorm的区别?- 在机器学习里,怎么处理长尾数据和多峰数据?- 怎么解决模型的冷启动问题,你觉得LLM在冷启动方面能够起到什么作用?- 介绍一下常见的优化算法(SGD ->Adagrad ->RMSProp ->Adam -> AdamW)?优缺点- 为什么Adam不一定最优而SGD最优的?怎么理解分析?- (针对简历提问)你工作里的对比损失是怎么构造的,有什么作用?介绍常见的对比损失的公式。代码题:- 数组第K大。给定整数数组 nums 和整数 k,请返回数组中第 k 个最大的元素。(力扣215原题)- 手写对比损失的计算(结合项目),并简单说了一下原理。(大概写出来就好)二面我这个是交叉面,提问的有部分设计大模型,也当然我简历上有大模型,所以问了一些llm+搜推的内容,但这部分交叉问题比较浅,能说个大概就很好,同时也有很多经典的机器学习面经问题。因为项目里提到了对标学习,所以面试官在代码考核部分让我写个示例,所以写进简历的一定要准备好(包括流程步骤,代码实现大概要清楚)。面广告算法的岗位,机器学习面经暴率很高,建议熟背,就算是看过有印象,问到的时候也会基本很稳。
点赞 评论 收藏
分享
评论
7
21
分享

创作者周榜

更多
牛客网
牛客企业服务