字节大模型实习算法面经 55min

Timeline3.12  投↓3.17  一面↓3.18 约二面↓3.20 二面（寄）一面代码题：合并两个有序数组二面代码题：反转链表被拒原因：岗位匹配度不够

攒人品中，祝大家都能拿到满意的Offer！1.介绍项目2.说明注意力中QKV分别什么含义3.SFT和RLHF的区别4.VIT的输出是怎么给文本大模型的5.手撕代码和最大的子串hot100

给我面没招了，发点面经攒攒人品～1. 项目拷打2. Embedding优化- 如何通过预训练/微调提升效果？对比过哪些模型- 参数量与效果的关系？是否尝试过蒸馏或量化？3. RAG车端项目- Pipeline中如何解决低延迟问题？Intent分类的标签体系设计逻辑- Rewriter是否引入强化学习？如何评估改写后的query质量？4. LLM对Embedding的影响- LLM的文本理解能力是否降低了对传统Embedding模型的依赖？举例说明。- 大模型在传统任务（如文本分类）未涌现的原因？（数据分布/任务形式差异）5. LeetCode：卡塔兰数推导（递归公式 + 动态规划实现）

给我面没招了，感觉自己好菜、面试很难，还是要多多练习1.项目拷打2.你在去部署或者训练预训练或者后训练的模型时，有没有用过一些比较底层的一些训练的调试的工具，比如说千卡的话很容易就会出NCCL timeout，如果出现 NCCL timeout，一般怎么定位和解决？3.像那种rl里面的那个MOE之类的那种的优化有去做过吗4.看您的训练经验比较丰富，而且您上线运行的推理内容之前也进行过一些什么样的优化吗？5.有没有做过 kernel级别的优化？比如用 CUTE DSL或者手写 CUDA去做 fusion这类算子融合优化，介绍一下6像底层，如果你们在做.kernel fusion，倾向于用什么方式来做7.有没有哪次你做了 fusion 结果性能反而下降的？原因是什么8.平时写 CUDA的时候，有没有关注到底层实现细节？比如你刚提到 FA2，那再往下一层，像 Hopper架构里那个 warp specialization是什么，它底层大概是怎么实现的9.试过用 Agent去生成cuda内核么，怎么去做的10.如果我把 warp specialization 去掉，只保留 tile 和 shared memory 优化，大概会损失在哪？11.怎么么判断一个 MoE 模型是真的学到了分工，而不是只是把 dense模型拆开了12.在 RL + MoE 里，有没有遇到过 reward把 routing学坏的情况？就是模型为了拿 reward，全都走某几个 expert，这种情况你当时是怎么处理的