科大讯飞-飞星计划 面经

岗位：AI研究算法工程师-深度学习框架和平台方向

发个面经攒攒人品

一面：
  - 训练&推理那个更想做那个、那个更擅长；
  - 对CDUA、OpenCL的了解程度；
  - 千卡分布式训练项目介绍；
  - 介绍LAMB优化器、和Adam比较；
  - LAMB优化器和分布式有什么关系；
  - FP16量化训练的策略；O0、O1、O2、O3；
  - reduce、allreduce、ring-allreduce区别；
  - allreduce和ring-allreduce通信容量对比；
  - 你们提出的分阶段local LAMB怎么实现、解决了什么问题；
  - deepspeed使用过嘛，还有那些并行策略；
  - 介绍ZeRO，ZeRO 1、ZeRO 2、ZeRO 3的区别和性能；
  - 还了解什么？overlap
  - overlap介绍一下原理，发生在分布式训练的那个阶段（结合代码说）；
  - 张量并行、流水并行、混合并行；
  - 语言问题，为什么没有写python、写的cpp、java；
  - cpp的函数参数传递方式；python的函数参数传递方式；
  - 指针和引用的区别；
  - python的垃圾回收机制；
  - CUDA做过那些工作、写过那些算子；
  - 意向地要求
  - 无手撕
  - 反问：主要做的工作；

二面：
  - 自我介绍；
  - 深挖项目；
  - GPU机间、机内内存带宽计算；
  - GPU硬件的架构；
  - Tensor Core；
  - ZeRO1、2、3的底层原理；
  - ZeRO问题分析；
  - ZeRO++；
  - allreduce和ring-allreduce；
  - overlap、如何实现；
  - FP16-O2 + 动态损失缩放
  - 实习相关问题；
  - pytorch和mindspore对比；
  - cpp类自动会生成那些函数；
  - cpp虚函数、多态；
  - cpp回调；
  - cpp二维数组按行/列读，那种好；
  - 给你大模型和大集群怎么设计训练方法；
  - TP、PP的划分量考虑；
  - 故障、灾备的考虑和实现；
  - 意向地合肥怎么看；
  - 对科大讯飞的了解；
  - 训练&推理那个更想做那个；

三面：
  - 讲讲ZeRO思路；
  - ZeRO好处；
  - 期望薪资；
  - 并行项目介绍；
  - linux 加软链接
  - linux 不同机器移动文件
  - cpp中的static关键字；
  - STL中的容器
  - vector中的函数
  - vector底层实现方式
  - float字节
  - bool字节 
  - 那些offer

四面：常规HR面