科大讯飞-飞星计划 面经

岗位:AI研究算法工程师-深度学习框架和平台方向

发个面经攒攒人品

一面:
  - 训练&推理那个更想做那个、那个更擅长;
  - 对CDUA、OpenCL的了解程度;
  - 千卡分布式训练项目介绍;
  - 介绍LAMB优化器、和Adam比较;
  - LAMB优化器和分布式有什么关系;
  - FP16量化训练的策略;O0、O1、O2、O3;
  - reduce、allreduce、ring-allreduce区别;
  - allreduce和ring-allreduce通信容量对比;
  - 你们提出的分阶段local LAMB怎么实现、解决了什么问题;
  - deepspeed使用过嘛,还有那些并行策略;
  - 介绍ZeRO,ZeRO 1、ZeRO 2、ZeRO 3的区别和性能;
  - 还了解什么?overlap
  - overlap介绍一下原理,发生在分布式训练的那个阶段(结合代码说);
  - 张量并行、流水并行、混合并行;
  - 语言问题,为什么没有写python、写的cpp、java;
  - cpp的函数参数传递方式;python的函数参数传递方式;
  - 指针和引用的区别;
  - python的垃圾回收机制;
  - CUDA做过那些工作、写过那些算子;
  - 意向地要求
  - 无手撕
  - 反问:主要做的工作;

二面:
  - 自我介绍;
  - 深挖项目;
  - GPU机间、机内内存带宽计算;
  - GPU硬件的架构;
  - Tensor Core;
  - ZeRO1、2、3的底层原理;
  - ZeRO问题分析;
  - ZeRO++;
  - allreduce和ring-allreduce;
  - overlap、如何实现;
  - FP16-O2 + 动态损失缩放
  - 实习相关问题;
  - pytorch和mindspore对比;
  - cpp类自动会生成那些函数;
  - cpp虚函数、多态;
  - cpp回调;
  - cpp二维数组按行/列读,那种好;
  - 给你大模型和大集群怎么设计训练方法;
  - TP、PP的划分量考虑;
  - 故障、灾备的考虑和实现;
  - 意向地合肥怎么看;
  - 对科大讯飞的了解;
  - 训练&推理那个更想做那个;

三面:
  - 讲讲ZeRO思路;
  - ZeRO好处;
  - 期望薪资;
  - 并行项目介绍;
  - linux 加软链接
  - linux 不同机器移动文件
  - cpp中的static关键字;
  - STL中的容器
  - vector中的函数
  - vector底层实现方式
  - float字节
  - bool字节 
  - 那些offer

四面:常规HR面
全部评论
有结果了吗
2 回复 分享
发布于 2024-08-22 23:23 黑龙江
太难了
1 回复 分享
发布于 2024-08-22 23:53 黑龙江
训练和推理想做哪个,大佬怎么回答的
点赞 回复 分享
发布于 2024-11-25 20:27 广东

相关推荐

09-25 17:51
门头沟学院 Java
国际电商刚三面感谢信完 又国际化广告,献出面经助各位道友渡劫9.25 一面(1h5min)1、自我介绍2、讲一下你在美团主要做的事(挑一个任务讲)3、为什么存量更新数据需要先删后增4、如何防止增量更新的数据被全量数据覆盖(除了选择在业务低频时段更新,可以用版本号来做判断)5、继续介绍一个需求6、再介绍一个需求7、为什么你们要存储多个版本的标签8、介绍一下你的 ai 项目是啥,你们的意图对应的是什么9、如果有多个意图匹配到了如果让你去设计这么一个多意图查询你会如何实现 🌟10、es 做这类查询为什么会比较快 🌟11、多个意图如何去做合并查询结果的操作呢 🌟12、mafka 是如何保证高吞吐量的13、mafka 压缩算法如何权衡压缩性能和吞吐量的设计呢(压缩解压缩也有性能消耗)🌟14、redis 你有哪些使用场景15、redis zset 可以用作什么场景16、zset 范围查询的成本是多少17、zset 底层是什么样的,其中 hash 是用来干什么的 🌟18、介绍一下你们为什么用 hbase 来获取数据19、用 hbase 和用 redis 或其他 kv 存储的区别是什么20、hbase 底层结构 lsm 介绍一下21、 手撕 字符串转浮点数(当小数位特别多的话可能会导致溢出)22、面试官介绍是做广告线索投放方向的等后续,整体面试感受还是很好的,但是对一下场景的考量可能不是很到位
点赞 评论 收藏
分享
09-22 14:41
已编辑
门头沟学院 算法工程师
面试是24年7月的现在已经入职几个月了,补一下面经,帮有需要的同学参考。BG:本硕985 计算机论文1A1B一面:技术面自我介绍 & 简历相关。简单介绍了自己在多模态和大模型方向的研究/工作经历,包括在校期间的论文工作以及实习经历。面试官主要针对简历上的项目提了一些细节问题,比如具体模型的量级,提升了多少,和哪些方法做了比较等。因为是自己的工作,所以没有卡壳。问有没有遇到过 Python 文件之间互相 import 的问题,出现这种问题怎么办?让我简单介绍了一下 PPO 算法,以及和 TRPO 的区别是什么?接着 PPO,问了一下 ChatGPT 的 RLHF 流程,以及为什么不直接用 SFT,而是要用强化这么麻烦的方式训练模型?继续追问 RLHF、SFT、LoRA 的区别,分别适用于什么场景?反问:公司现有业务是什么,计算资源情况等。二面:主管面论文介绍。让我用通俗的语言介绍我自己发表和投稿的论文,重点是研究动机和要解决的问题。问有没有亲手训练过大模型,最多用了多少张 GPU 卡?并行训练使用的框架是什么?介绍一下 DeepSpeed,说一下这个框架在并行的不同阶段(ZeRO stage)分别做了哪些事?训练模型的时候,数据量有多少,怎么收集数据的,训练花了多少时间?遇到的最大问题是什么?问在大模型全量微调时,显存消耗分别由哪些部分占用?(参数、梯度、优化器状态、激活信息等),分别占用多少?假设模型参数量为N,请分不同情况讨论和计算一下微调所需要的显存(不同精度、batch size、seq len 等)。说一下 LoRA 公式,讲一讲其中 A 和 B 两个矩阵分别表示什么。LoRA 的优缺点是什么,什么场景下适合使用?问知道哪些大模型训练和推理框架,用过哪些?问 LLaVA 的结构是什么,和常规的纯文本大模型有什么区别?Encoder-Decoder 结构的模型转 ONNX 的一般流程,遇到不支持的算子怎么办?可能遇到的问题(动态 shape、模型中逻辑判断需要单独写、模块拆分等)。三面:HR 面主要问了为什么选择公司,对团队的看法,对岗位的认识;未来大致的规划,面试过程的体验,有没有别的公司的 offer 等。以及询问了期望薪资等。之后就是等待,最终和期望薪资基本一致。总体感受面试流程比较顺畅,问题也比较贴合岗位要求;如果和岗位匹配度高,一般流程推进速度会很快。入职以后,工作内容和面试被问的问题也差不多,基本上都是算法工程师需要做的内容,团队氛围也很不错。只是毕竟是企业,不可能光搞研究,在承接业务时还是免不了和很多人打交道和来回battle需求,这个无可避免。
查看19道真题和解析
点赞 评论 收藏
分享
评论
7
16
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务