快手校招大模型算法面经 感觉好难

发点面经攒攒人品～1.项目介绍2.介绍实习3.数据集使用的是公开数据集还在有自己构造数据集大模型相关八股提问4.分别讲一下 Dense 模型和 MoE 模型以及二者的区别5.讲一下MoE的 路由机制是如何做的6.训练完验证使用的是什么数据集7.做这个工作的过程中的难点在哪8.如何做的 SFT9.介绍一下 PPO10.讲一下 RAG 项目11.分类任务常用的评测指标有哪些12.讲一下 LoRA 微调的原理13.A、B 矩阵怎么初始化的14.LoRA 微调秩设置的是多少coding最小生成树

继续来分享下之前的面经~欢迎友好讨论，信息共享1- RAG痛点2- 检索精度与召回率的平衡（如chunk粒度优化） 如何解决多跳推理问题？3- 知识更新机制（小红书UGC内容高频更新如何应对4- LLM针对RAG的优化5- 是否用LLM直接生成Embedding？如何解决生成式检索的稳定性6- 提示工程优化（如HyDE技术在小红书的应用场景）。7- 幻觉问题8- 检索结果置信度过滤方案？是否引入知识图谱作为验证层9- 检索污染处理10- 用户生成内容（如错误美妆知识）如何清洗？实时性（如突发谣言）如何应对11- 图文对RAG产品设计12- 多模态检索方案（图文联合Embedding vs. 分离对齐）13- 如何将用户评论/标签纳入检索增强

给我面没招了，感觉自己好菜、面试很难，还是要多多练习1.项目拷打2.你在去部署或者训练预训练或者后训练的模型时，有没有用过一些比较底层的一些训练的调试的工具，比如说千卡的话很容易就会出NCCL timeout，如果出现 NCCL timeout，一般怎么定位和解决？3.像那种rl里面的那个MOE之类的那种的优化有去做过吗4.看您的训练经验比较丰富，而且您上线运行的推理内容之前也进行过一些什么样的优化吗？5.有没有做过 kernel级别的优化？比如用 CUTE DSL或者手写 CUDA去做 fusion这类算子融合优化，介绍一下6像底层，如果你们在做.kernel fusion，倾向于用什么方式来做7.有没有哪次你做了 fusion 结果性能反而下降的？原因是什么8.平时写 CUDA的时候，有没有关注到底层实现细节？比如你刚提到 FA2，那再往下一层，像 Hopper架构里那个 warp specialization是什么，它底层大概是怎么实现的9.试过用 Agent去生成cuda内核么，怎么去做的10.如果我把 warp specialization 去掉，只保留 tile 和 shared memory 优化，大概会损失在哪？11.怎么么判断一个 MoE 模型是真的学到了分工，而不是只是把 dense模型拆开了12.在 RL + MoE 里，有没有遇到过 reward把 routing学坏的情况？就是模型为了拿 reward，全都走某几个 expert，这种情况你当时是怎么处理的

整体面试还是不错的，但是没后续了，不知道是哪里出了问题1.项目拷打2.实习拷打3. 多轮对话超长上下文如何训练4. 上下文记忆策略5. Skills读取超长sop的优化有哪些trick