CUDA面经

给我面没招了，感觉自己好菜、面试很难，还是要多多练习1.项目拷打2.你在去部署或者训练预训练或者后训练的模型时，有没有用过一些比较底层的一些训练的调试的工具，比如说千卡的话很容易就会出NCCL timeout，如果出现 NCCL timeout，一般怎么定位和解决？3.像那种rl里面的那个MOE之类的那种的优化有去做过吗4.看您的训练经验比较丰富，而且您上线运行的推理内容之前也进行过一些什么样的优化吗？5.有没有做过 kernel级别的优化？比如用 CUTE DSL或者手写 CUDA去做 fusion这类算子融合优化，介绍一下6像底层，如果你们在做.kernel fusion，倾向于用什么方式来做7.有没有哪次你做了 fusion 结果性能反而下降的？原因是什么8.平时写 CUDA的时候，有没有关注到底层实现细节？比如你刚提到 FA2，那再往下一层，像 Hopper架构里那个 warp specialization是什么，它底层大概是怎么实现的9.试过用 Agent去生成cuda内核么，怎么去做的10.如果我把 warp specialization 去掉，只保留 tile 和 shared memory 优化，大概会损失在哪？11.怎么么判断一个 MoE 模型是真的学到了分工，而不是只是把 dense模型拆开了12.在 RL + MoE 里，有没有遇到过 reward把 routing学坏的情况？就是模型为了拿 reward，全都走某几个 expert，这种情况你当时是怎么处理的

1. 全参数微调的显存一般怎么估算全参数微调的显存不能只看模型参数本身，真正上线训练时至少要把参数、梯度、优化器状态和激活值都算进去。最粗略的估算方式是：如果模型参数量是 N，训练精度是 bf16，那么参数大约占 2N 字节，梯度再来一份 2N，如果用 Adam，还要额外保存两组一阶和二阶矩，通常再加 4N + 4N 字节。也就是说，不考虑激活值时，单参数相关内存大致可以按 12N ~ 16N 字节估。真正把 batch size、sequence length、checkpointing、并行策略加进去后，激活值往往才是大头。所以面试里如果只答“参数量乘 2”基本不够。更稳的答法是先给出静态...

继续来分享下之前的面经~欢迎友好讨论，信息共享1. 拷打项目2. 有没有了解过AF分离，他是为了解决什么问题，既然有PD分离了，为什么还要AF分离？3. 有没有读过flash attention的代码，V2比起V1做了哪些改进？细聊一下他是怎么改进的。有没有了解最近的V4版本？4. 大模型的一层有几个线性层？TP的时候怎么切的？这样子做的原因是什么？有什么思路优化中间的allreduce吗？5. 看过ray的底层实现吗？它有什么特性，你的课题研究中是怎么使用ray的？6. 聊一下你所找到的cuda gemm的优化方法7. leetcode 单词接龙

攒攒人品！有面试过同岗的朋友欢迎评论区交流1.你的AI项目的亮点是什么?2.上下文压缩算法的触发条件3.长任务(执行几天，步骤很多)在你的项目中是怎么做的?4.有了解claudeCode的Hook机制功能知道嘛?解释一下5.装饰器设计模式和代码设计模式6.看过Springboot/Spring的源码嘛?里面用到了哪些设计模式7.mysql的锁有哪些?8.讲一下乐观锁和悲观锁手撕:一道原创题，大致题意:给定一个链表"head={4,2,8}和 一课二叉树 root=Rn{1,4,4,1,2,null,2,null,null,nul1,2,8,2,1,null,null,null,null,8,null,null}(貌似是这样的)判断一下这课树中存不存在一条路径和链表是一样的。