10.18线下一天三面  一面  千卡项目介绍； 实习介绍； 推理竞赛介绍； kaggle竞赛介绍； 手撕LRU（没写出来，讲了思路）；   二面  依然过简历为主； GPU和GPU之间的通信技术； 手撕螺旋矩阵；   三面  对国内外大模型技术如何看； 对华为计算生态怎么看； 对华为文化怎么看； 遇到的困难； 团队协作； 想做的反向，技术规划； 意向地，期望薪资；

一面  竞赛项目； 千卡并行项目； 手撕1：力扣611； 手撕2：力扣1191；   二面  推理竞赛项目； 千卡并行项目； 手撕1：力扣185；   三面  千卡并行项目； 手撕1：CUDA矩阵乘法； 手撕2：二叉树的深拷贝；

10.19一面（AI面试）  如何打破技术壁垒； 基于其他领域的知识解决本领域问题； 团队协作如何做高效； other 忘了；   10.24二面  介绍项目； T5 和 GPT-2的差异； transformer结构；   11.01线下终面（放弃）

LAMB优化器介绍 增大bs，学习率如何调整，模型很大，bs不变呢？ 你知道的并行切分策略； ZeRO介绍； pp并行下每张卡的显存、计算量一样嘛，激活值呢？ DCU和华为AI加速卡区别、生态、通信库； 千卡项目详细介绍一下； 异步保存方面详细介绍； DDP/DeepSpeed中的一些异步保存机制； T5 和 GPT-2的差异； transformer结构； 残差连接的作用； 3D并行相关； 意向地

一面  实习主要工作介绍； 千卡训练项目介绍； 竞赛项目介绍； 手撕：反转矩阵； 技术规划； 有什么其他offer； python深拷贝和浅拷贝区别； CPP的三种智能指针和用法； 写时拷贝原理 零拷贝原理   二面  大模型分布式训练的流程、并行策略考虑； 各种并行策略介绍； TP为什么有按行/列两种； 按行/列对应的是什么； Megatron-SP介绍， Transformer架构，有那些层、算子； encoder和incoder介绍，特点； FlashAttention介绍； online softmax介绍； block是软件还是硬件的； CUDA有哪些优化方法； 访存优化方法有哪些；...

滴滴 机器学习基础平台 面经发个面经攒攒人品 - 量化的工作介绍； - W4A8； - SIMD中浮点数和整数指令； - 量化的逻辑，如果计算； - W怎么计算到4位，A怎么计算到8位； - 量化校准策略； - 其他量化方法； - FP16训练精度损失问题如何解决； - 增大BS为什么会减少通信次数； - 更新和保存的overlap如何做； - GPT-2迁移后如何验证是对的； - 激活值、梯度、权重分别怎么验证； - 微调怎么做的； - LORA微调、Prompt微调； - GPU架构，A100有那些计算资源； - Tensor core介绍； - 大模型训练指标MFU； - Nsight ...

岗位：AI研究算法工程师-深度学习框架和平台方向发个面经攒攒人品一面：- 训练&推理那个更想做那个、那个更擅长；- 对CDUA、OpenCL的了解程度；- 千卡分布式训练项目介绍；- 介绍LAMB优化器、和Adam比较；- LAMB优化器和分布式有什么关系；- FP16量化训练的策略；O0、O1、O2、O3；- reduce、allreduce、ring-allreduce区别；- allreduce和ring-allreduce通信容量对比；- 你们提出的分阶段local LAMB怎么实现、解决了什么问题；- deepspeed使用过嘛，还有那些并行策略；- 介绍ZeRO，ZeRO 1、ZeRO 2、ZeRO 3的区别和性能；- 还了解什么？overlap- overlap介绍一下原理，发生在分布式训练的那个阶段（结合代码说）；- 张量并行、流水并行、混合并行；- 语言问题，为什么没有写python、写的cpp、java；- cpp的函数参数传递方式；python的函数参数传递方式；- 指针和引用的区别；- python的垃圾回收机制；- CUDA做过那些工作、写过那些算子；- 意向地要求- 无手撕- 反问：主要做的工作；二面：- 自我介绍；- 深挖项目；- GPU机间、机内内存带宽计算；- GPU硬件的架构；- Tensor Core；- ZeRO1、2、3的底层原理；- ZeRO问题分析；- ZeRO++；- allreduce和ring-allreduce；- overlap、如何实现；- FP16-O2 + 动态损失缩放- 实习相关问题；- pytorch和mindspore对比；- cpp类自动会生成那些函数；- cpp虚函数、多态；- cpp回调；- cpp二维数组按行/列读，那种好；- 给你大模型和大集群怎么设计训练方法；- TP、PP的划分量考虑；- 故障、灾备的考虑和实现；- 意向地合肥怎么看；- 对科大讯飞的了解；- 训练&推理那个更想做那个；三面：- 讲讲ZeRO思路；- ZeRO好处；- 期望薪资；- 并行项目介绍；- linux 加软链接- linux 不同机器移动文件- cpp中的static关键字；- STL中的容器- vector中的函数- vector底层实现方式- float字节- bool字节- 那些offer四面：常规HR面