阿里大模型算法岗面经分享

继续来分享下之前的面经~欢迎友好讨论,信息共享
1.项目拷打
2.你在去部署或者训练预训练或者后训练的模型时,有没有用过一些比较底层的一些训练的调试的工具,比如说千卡的话很容易就会出NCCL timeout,如果出现 NCCL timeout,一般怎么定位和解决?
3.像那种rl里面的那个MOE之类的那种的优化有去做过吗
4.看您的训练经验比较丰富,而且您上线运行的推理内容之前也进行过一些什么样的优化吗?
5.有没有做过 kernel级别的优化?比如用 CUTE DSL或者手写 CUDA去做 fusion这类算子融合优化,介绍一下
6像底层,如果你们在做.kernel fusion,倾向于用什么方式来做
7.有没有哪次你做了 fusion 结果性能反而下降的?原因是什么
8.平时写 CUDA的时候,有没有关注到底层实现细节?比如你刚提到 FA2,那再往下一层,像 Hopper架构里那个 warp specialization是什么,它底层大概是怎么实现的
9.试过用 Agent去生成cuda内核么,怎么去做的
10.如果我把 warp specialization 去掉,只保留 tile 和 shared memory 优化,大概会损失在哪?
11.怎么么判断一个 MoE 模型是真的学到了分工,而不是只是把 dense模型拆开了
全部评论
这些问题覆盖得好完整,先收藏起来啃知识点,备战面试🙏
点赞 回复 分享
发布于 03-30 13:53 广东
同备战大模型算法岗,楼主整理得太全面了,祝顺利拿 offer,沾沾喜气
点赞 回复 分享
发布于 03-30 13:53 浙江

相关推荐

03-28 18:46
已编辑
东莞理工学院 Java
春招避坑:这三类公司我直接不面,纯浪费时间(本人亲身经历)一、小公司/初创公司,基本不面不是歧视初创,是踩过的坑太真实:面试官不专业、流程乱、要求还极高。很多就是几个创始人面,自带创业者的傲气,甚至不尊重人(本人和我朋友真实踩坑经历)。之前面过某某鹰,HR对着纸念问题一个多小时,之后还要调研两位老板创业经历,还明确禁止用AI!?前前后后三轮面试+线下面,最后明说加班、大小周、强度大,一套下来薪资只给10k+实习转正。体验感极差,纯浪费时间。当然还是有好的初创公司,需要好好臻别一下,否则浪费了时间还影响心情。还有几家做中间件的小厂,面试官确实有实力,但态度普遍高傲、问题刁钻,带着看不起人的姿态,薪资也大多在10k上下。更离谱的是,明明就30来人的公司,岗位挂了一年多(从我看见,到现在都挂着,每天沟通都在10+),要求严得离谱,真不知道到底想招什么样的人。二、薪资明显偏低的,不面很多人误以为:薪资标得低=面试简单。大错特错。现在春招狼多肉少,再低的薪资也会涌来一堆人,不少还是来练手、找保底的,难度一点不低。技术团队想要优秀的人,HR又卡死预算,最后可能就是:要求对标大厂,薪资给得抠门。春招窗口期就这么短,面这种不以入职为目的的公司,纯纯无效消耗。真想练手另说,想正经找工作,真没必要。三、流程极度繁琐的,坚决不面流程繁琐,我认为本质是公司制度落后、不把候选人时间当时间。比如:填巨长表格、强制线下面试、提前写完整系统扔GitHub、甚至要从零做项目、参加路演……沉没成本极高,收益极低。之前面某牛云,要完整做项目+路演,有人觉得“麻烦所以竞争小”,其实愿意花时间的人依然很多,通过率也比较低(我了解到的)。有这精力和实力,不如冲更好的公司,性价比差太多。春招不是海投就赢,不要以为广撒网广约面试机会多最后机会就大,面试到了一些极其不专业的公司,极其刁钻的面试官之后会影响心情,影响节奏,甚至还可能会自我怀疑,会筛选和会面试一样重要。不把时间丢在低性价比、低尊重、低回报的公司身上,才能集中精力冲真正值得的offer。
不知道怎么取名字_:但是这三类公司,也能拿来练手啊
春招至今,你的战绩如何?
点赞 评论 收藏
分享
评论
点赞
1
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务