被横向挂了，希望发出来对大家有帮助！1. 先answer后cot和先cot后answer，做SFT有什么区别？是否对比过效果？2. 怎么确保人工标注的数据准确率符合预期？3. 如何选择合理的SFT的checkpoint，用于后续的RL？4. 图片怎么输入模型的，一张图片有多少token？5. 你觉得RL和SFT有什么区别？6. 为什么不只做RL，而选择SFT then RL？7. 重要性采样是什么，为什么RL中要加入CLIP机制？8. On-policy和Off-policy有什么区别？八股1. Transformer的decoder中为什么要用自回归因果掩码？2. 缩放点积注意力为什么要除以$\sqrt d_k$？

算法岗面试，每次都被手撕hard虐哭目前刷了LeetCode 300+，但感觉高频题还没掌握透。求大佬推荐一份算法岗高频hard题单！特别是DP和图论，救救孩子！另外想问，算法岗面试手撕代码一般给多长时间？一道hard题20分钟够吗？

最近闲下来了整理下之前的面经攒攒人品！项目拷打，实习拷打1.MLA为什么比MHA好?2.权重吸收中间遇到的问题。3.KVcache的离线计算与非常用kvcache的卸载加载4.还有什么kvcache优化的相关的tricks

面试很难，还是要多多练习，感觉自己说不明白业务逻辑1.实习拷打2.项目拷打3.论文拷打4.异步RL训练对损失函数的修正方法5.DualPipe原理6.手撕代码:1)合并k个升序链表;2)从右往左看二叉树

整体面试还是不错的，但是没后续了，不知道是哪里出了问题1.项目拷打2.MHA、GQA与MLA3.MoE模型和多模态模型训练还有哪些优化点4.大模型预训练和强化学习训练在工程上还有哪些可优化的点5.手撕代码:1)二叉树的层序遍历;2)MHA

发一下问题给大家参考，攒攒人品！1.项目拷打2.zero-bubble调度原理3.解释下DeepEP4.RL异步调度有哪些，优缺点是什么5.RL异步调度算法上需要做哪些改进6.手撕代码:合并k个升序链表

1.Transformer相比MLP的优点2.介绍MHA、GQA和MLA3.算法和Infra工作有什么不同，侧重点分别是什么4.如何优化模型训练中的访存5.有没有算子开发优化经验6.介绍下针对k散度算子做了哪些优化7.了解PagedAttention吗8.Trition和CUDA区别9.手撕代码1)MHA2)C++编程

发一下问题给大家参考，攒攒人品！1.实习拷打2.询问项目经历3.问是否了解数据库4.问是否了解计算机网络操作5.问有没有刷过算法题6.给出拿100个乒乓球的游戏，每次最多拿5个最少拿1个，保证自己拿到第100个7.给出一道编程题，让判断字符串里的括号组合是否正确

1.项目拷打2.手撕代码 leetcode 1283.八股介绍下vllm的技术点。介绍下KV Cache，GQA，MQA，MHAlora的原理，lora会不会更新原来的权重，如果对embedding层也配置了lora会不会更新。topK和topP采样方法，采样温度的数值有什么意义

手撕撕麻了，怎么这么多...1、业务介绍2、论文拷打3、手撕loss：交叉熵4、手撕logistic回归公式：5、手撕：sigmoid函数6、手撕DNN和BatchNorm7、手撕：梯度下降法基本逻辑（SGE）8、激活函数都有哪些？9、给定一个string，根据题目要求写一些简单的if else洗数据。

给我面的汗流浃背真是没招了...1.拷打简历2.讲一下最近读的关于生成式推荐的论文3.transformer的encoder和decoder架构具体讲一下4.full attention 适合推荐场景吗？5.embedding是如何生成的？6.了解常见的多目标融合方式有哪些？背后的数学原理了解吗？7.代码lc加油站手撕一个两层的神经网络

1.打开Github，看一下profile2.三个阶段你分别用了什么数据3.你在测试集跑的结果如何4.看过Magpie的论文吗，里面有很多关于数据清洗的东西5.PPO，DPO，GRPO你最偏好用哪个6.GRPO有什么缺陷和可以改进的地方7.了解线形注意力吗8.讲一下你最近看的一个最新的技术9.讲一下deepseek-R1中令你感觉最惊艳的地方10.LLaVA系列的演进过程11.在数据清洗领域你有什么想法和见解

1. 场景题2. 训练过embedding吗？讲讲，没训练过纯文本的吗？3. dpo是什么？为什么dpo中的chosen和rejeted的loss都下降，整体loss在上升4. 大模型sft数据策略怎么配？5. deepseek 你们是怎么做的蒸馏？6. 游戏领域有什么应用LLM7. 反问：组里面卡多少，对到组时间是否有要求。手撕：leetcode hot100 长度最小子数组

1.Lora 了解多少？ lora 一定比 sft 快吗？ 为什么快，哪一部分快？2.反向传播如何更新梯度的，讲一下公式。3.一个图片传进 vit，有多少 token？ （逆天，差点忘了）然后如何和语言部分拼接。4.GUI agent 长程规划差，你们如何解决的？ 车载场景下有什么新 idea？5.你的训练为什么分为两个阶段，rl 和 sft 有什么不同？多模态做 rl 优势是什么？强化哪一部分内容？6.训了 image encoder 的部分吗？7.qformer 和目前的对齐层有什么区别？ 场景有哪些？Qformer 如何计算的，还有部分场景用 qformer 为什么？8.diffusion 有了解过吗？loss 是什么？手推一下 kl 散度，生成统一理解下 token 流动说下