27双非 微软日常实习经验分享

（搬运一下我在别的平台发的，虽然是美国的谷歌，没法帮到大家太多，但贡献一个dp，just in case有人用得上，后续有空了再写一个之前国内微软实习的面经，实习待遇福利啥的后面一起发。）简历可以参考我之前帖子发的9/7 投递9/15 收到oa9/20 oa通过，约面试10/20 两轮back to back coding10/27 面试通过，进入tm池子12/6 两个tm call，call完拒绝了第二个组12/19 第三个组的tm call1/6 第一个组match上了（怎么等了这么久）1/7 第三个组match上了1/13 idv1/14下offer说实话这次找实习是有些运气成分在的[笑哭R][笑哭R]。坏消息，只收到一个面试，好消息，面试通过了。简历说实话投递的也不算多，就投递了250份左右（剩下的没写到simplify上去，所以图里只有180多）拿到了不到10个oa，转化成唯一一个面试。自从收到🐶家的面试后就全力刷题准备面试了，几乎没有再投递过，想着等面试完假如面的结果感觉不好再投递，所以还是有些赌的成分在的，不建议大家学习[笑哭R][笑哭R]最终刷题500多道，medium为主。专门练了一大堆dp和graph，不过运气好没被考到。面试难度比想象的低很多，算是mediuk里的easy难度，一个array一个ood，各有两个follow ip，不是leetcode原题，但整体难度不难。面试结果也出的很快，所以自从进了tm池子后就没投递过了，期间做了个amazon的oa，后面给了面试也不打算去面了。不过这几个月悬着的心总算是可以落下来了，可以恢复正常的规律作息，该吃吃该学学该练练，努力拿return，不用再寝食难安了[笑哭R]。

发一下问题给大家参考，攒攒人品！1. PPO的原理？从维护的四个model讲，再详细讲一下训练流程和损失函数各个参数含义？2. 为什么有了reward model还需要critic model？critic model作用是什么？3. 交叉熵和kl散度的联系和区别？PPO的kl散度可以改成交叉熵吗？分类任务可以用KL散度吗？4. GRPO的kl散度和PPO的kl散度区别？K1 K2 K3估计区别？5. rollout数量 batchsize数量和计算资源(卡的数量)有什么关系？线性？非线性？6. 真实采样数量一定等于rollout数量吗？7. 提到了拒绝采样，详细讲一下8. 你是怎么设计agent的记忆系统？9. 长期记忆如何存储？如果历史记录量非常大，怎么优化查询效率？10. 你们有没有用到类似AutoGen或LangChain的框架？为什么选这个框架？11. vLLM框架是怎么做推理加速的？

没问八股，主要问了项目相关内容，比较注重的点是结合业务目标，需要自己先假定一个业务场景和实现指标，如果可以实现业务目标就避免过度设计，可以去了解一下真实相关项目的业务场景。代码手撕了个删除链表，挺简单的，虚拟头加map去重。最后问了下是不是暑期还有怎么把学习项目结合业务理解

1.介绍一下 DPO , PPO , GRPO2.介绍一下奖励函数的坍缩现象和问题3.离线强化学习和在线强化学习了解么？你的项目里是哪种？4.代码:onehot100的2d接雨水5. GRPO 公式？为什么公式里面 clip 了外面还要计算一次 mean 呢？6.讲讲qwen2.5vl, llama7.多目标优化奖励函数冲突，8.介绍一下 QKV 的计算？9.手撕MHA📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。