拓竹科技 机器学习算法 二面面经

给我面没招了，发点面经攒攒人品～多Agent系统与垂域大模型落地1. 中心化调度的多Agent架构中，子Agent的接口设计与结果回流机制如何保证系统稳定性？2. 纯Prompt实现的Agent范式下，如何设计评测体系以实现自动化的能力判定与迭代闭环？3. 基于外部知识检索的内容生成，为何容易出现信息复述而非独立推理？如何从算法层面解决这一问题？4. 垂域量化指标（风险/情绪类）的建模中，小样本场景下为何选择LoRA微调而非全量微调或Prompt Engineering？5. 垂域LoRA适配时，如何构造高质量监督数据以保证模型输出数值的合理性与一致性？6. 从原型验证到工程化迭代，如何平衡系统效果、推理成本与训练开销？Transformer Encoder 底层原理与训练稳定性1. 完整描述Transformer Encoder的计算流、残差连接与归一化位置设计。2. 写出多头自注意力的完整数学公式，并说明各维度的含义与变化。3. 从概率分布与梯度视角，解释scaled dot-product中除以√dₖ的必要性。4. 对比固定缩放系数与可学习缩放系数在注意力计算中的训练稳定性与表达效率差异。5. 从序列特性、padding影响、梯度传播三个角度，分析NLP中LayerNorm优于BatchNorm的原因。

攒攒人品！有面试过同岗的朋友欢迎评论区交流1.项目拷打2.sft阶段用的什么模型，数据来源，如何做数据处理，用的什么框架3.ppo如何做的详细介绍，包括数据，怎么训练奖励模型，每个模型的损失什么样子的，在几张卡上做的训练4.dpo训练流程，为什么ppo和dpo你都用了，有什么区别，有没有做对比试验5.怎么评估你微调之后模型有提升6.ppo为什么效果会比dpo强，怎么理解多轮dpo会有提升7.项目中创新点外代码中怎么实现的，详细讲讲，消融实验怎么做的8.整个项目你觉得哪里还有需要提升的地方，有没有新的想法，未来打算怎么做八股部分9.深度学习相关知识，讲几种优化器10.讲MHA原理11.GRPO原理12.Lora原理，r大小对模型训练的影响13.手撕编辑距离（动态规划14.vit训练原理15.clip训练原理

发一下问题给大家参考，攒攒人品！1.项目拷打2.实习拷打3.论文拷打4.你更希望找长期实习，那你觉得什么样的工作内容会让你更愿意一直做下去？5.在xx那段主要是做数学解题这个方向，这个事情当时业务上是要解决什么问题？6.一开始为什么是用OCR加文本这种方案？后面为什么觉得不太够用了？7.你们后来换成多模态，是在哪些场景下收益最明显？8.你做的那一整套训练流程，对最终效果提升最大的是哪一块？9.模糊图效果提升挺多的，这块你觉得主要解决了什么问题？10.你们在数据这块做了很多处理，比如去重这些，这些工作你觉得值不值？有没有量化过收益？11.在强化学习这块具体是负责哪一部分？12.奖励大概是怎么定义的？有没有遇到奖励不合理的情况？13.强化学习训练过程中，有没有出现模型“学歪了”的情况？是怎么处理的？14.在xx公司那段用的是GRPO，当时为什么会选这个方法？15.小模型能做到80%以上这个效果，你觉得核心原因是什么？16.在比赛里做的是Agent推荐，这个和传统推荐最大的区别是什么？17.多代理那套方案里，哪一部分是你觉得最关键的？18.做了memory，这个东西实际带来的提升是什么？19.对现在这种Agent框架，比如OpenClaw，整体怎么看？20.如果让你用OpenClaw去做一个发券或者运营自动化，你第一步会怎么设计？21.你觉得这种Agent在业务里最大的风险点是什么？

给我面没招了，感觉自己好菜、面试很难，还是要多多练习1.项目拷打2.你在去部署或者训练预训练或者后训练的模型时，有没有用过一些比较底层的一些训练的调试的工具，比如说千卡的话很容易就会出NCCL timeout，如果出现 NCCL timeout，一般怎么定位和解决？3.像那种rl里面的那个MOE之类的那种的优化有去做过吗4.看您的训练经验比较丰富，而且您上线运行的推理内容之前也进行过一些什么样的优化吗？5.有没有做过 kernel级别的优化？比如用 CUTE DSL或者手写 CUDA去做 fusion这类算子融合优化，介绍一下6像底层，如果你们在做.kernel fusion，倾向于用什么方式来做7.有没有哪次你做了 fusion 结果性能反而下降的？原因是什么8.平时写 CUDA的时候，有没有关注到底层实现细节？比如你刚提到 FA2，那再往下一层，像 Hopper架构里那个 warp specialization是什么，它底层大概是怎么实现的9.试过用 Agent去生成cuda内核么，怎么去做的10.如果我把 warp specialization 去掉，只保留 tile 和 shared memory 优化，大概会损失在哪？11.怎么么判断一个 MoE 模型是真的学到了分工，而不是只是把 dense模型拆开了12.在 RL + MoE 里，有没有遇到过 reward把 routing学坏的情况？就是模型为了拿 reward，全都走某几个 expert，这种情况你当时是怎么处理的