强化学习

日期：2026.3.12时长：约54mins平台：showmebug面试官：算法工程师面试岗位：自动驾驶规划控制算法工程师实习岗工作地：广州/深圳/武汉内容：1 毕业时间、到岗时间与实习时长2 询问编程语言，并表明该岗位需要C++（我是python）3 简历询问，要我介绍做的最深的一个项目：讲了硕士毕设4 手撕 力扣121：用python撕的，手写测试用例（非ACM模式），但是最近主攻二叉树、递归，这题有点忘咋做了，最后用了大概19分钟做出来一个非暴力做法（实在是有点菜了，后续面试官也说coding还再加强一下）5 反问a 如果我后续成功入职该岗位，您（面试官）认为我可能面临的较大的困难是什么？I） 编程语言，这个岗位用的都是C++II）专业背景，需要有车辆运动学的相关知识（询问我是否学过相关课程，表明学过）b 如果今天的面试通过了，后续还有几轮面试，大概在多长时间内进行？I） 据（面试官）了解，遇到的都是4轮II）一般一周可以进行两轮，这也要看面试官和你的时间c 对今天的面试有任何的建议或者可以改进的地方？研究方向和岗位还是有些不匹配的，建议认真选择岗位的方向

日期：2026.3.26时长：约40mins面试官：算法工程师（也许是）面试岗位：算法工程师 实习岗工作地：上海内容1 面试官自我介绍2 （我）自我介绍（追问）实习时长？视实习jd而定，对于……，实习期大概在4-5个月3 简历询问a 学生期间的学习经历有什么？i  本科还是硕士？——》都介绍一下ii 本科期间学校对我们专业的培养目标是……，所以我们会学数学、化学、英语、机械、力学、……。在研究生期间，主要学习的课程可以自行选择，我的主修课程主要包括环境感知、智能导航、传感器、ai及深度学习、数学等课程，研究生的主要研究方向就是……。b 我看你的实习经历有一段……，当时就已经在做agent开发了吧？i  我认为严格意义上那不算agent，当时agent也没有现在这么火，更多的还是一个对内的ai助手demo开发，在功能上基本可用。b（追问）那你对ai了解多少，与llm和agent相关的这些。ii 对于llm还有agent的一些基本原理的概念性东西还是有一定程度了解，比如loRA微调、RLHF（是这个吗？其实我不太记得住这个词，可能当时说错了）、数据集、无监督学习、rag、a2a、skills、tool，Transformer等等。但是如果您问我我具体了解程度，那我只能说基本不了解。因为在我的预估和前期规划中，我的实习期从五月开始，这些东西的学习计划是放在四月的（确实是这样规划的）。那么在这之前，我主要做的是我的毕设和一些基础的学习，比如说强化学习的数学原理、经典强化学习算法、Attention、深度学习底层原理等等。之所以这样规划是因为这些东西是介于我毕设和预估中的实习涉及到的技术落地间的重要知识，需要有层次的递进学习，其次是我需要毕设做到一定程度导师才放实习，因此我的毕设进度大概是……。c 介绍一下你最了解的项目。i  我最了解的是我的毕设……。其中我这也是结合prompt engine做的，其中用于项目开发的skill也开源了。c（追问）你为什么选择PPO而不是其他的模型？你有做过对比吗？ii 我选PPO的原因很简单，首先是PPO相对来说非常成熟，其次是它对超参数不是那么敏感，这样我可以不太用耗费很多时间去调参，此外，ppo的代码实现相对来说也比较简洁，能有效减轻我的工作量，最重要的一点是ppo的鲁棒性相对较强，这个是我比较看中的，因为……。对于其他模型而言，比如TRPO，没记错的话TRPO的一大优点在于其理论上能保证策略性能的严格递增，这点也是很重要的，但是没记错的话，TRPO中有个温度系数还是什么超参数，这个超参数对最终的策略提升有重大影响，如果这个参数没调好，容易让策略走向在最优解附近大幅震荡或无法学习的两个极端，这其实是我不希望出现的。毕竟计算机计算精度始终有限，因此我选用一个算法的目的之一在于在有限的计算时间和计算资源的限制之内能最逼近和无线逼近最优解，因此尽管PPO在理论上的收敛性不如TRPO严谨，但是从实际表现来看ppo反而好不少，他就是我需要的算法。c（追问）你的项目不使用数据集来训练对吧？比如那种生成的数据是无法应用到你的项目中的？iii我的项目可以用数据集，强化学习有通过数据集预训练或者需要采样数据的算法，但是，但是，如果使用数据集，我怎么保证我采集到的数据比强化学习自己的策略更好呢？换句话说，这些数据集需要我再环境中自己去采集，人具有主观性，我不能保证我采集到的数据是没有偏差和人的主观偏好在其中，如果基于有偏差的数据进行训练，那么如何保证最终训练出来的策略是最优策略呢？当然我不是在否定这种方法，现在有很多基于数据集驱动的强化学习，若我采用了这种方法，我就需要考虑……系列问题，这会让我毕设的体量爆炸……。因此，在实际中应该结合现有条件进行选择，最适合的才是最好的。4 手撕一个字符串中包含空格和数字，要求不产生额外存储空间的情况，把所有的数字换到左边，同时字符串长度不变（空格放到末尾保留）。忘了这是力扣哪个题，用了双指针的思路，思路对的但是跑不过用例不知道为什么。5 反问a 算力资源？i （面试官所在的团队）有几张gpub ai coding额度资源？i 这些问问llm就行，实习生估计是没有的（我其实无所谓，常年开的有自己的coding账户）c 组织架构？或者团队的主要工作内容是？i （估计是组织架构不便透露）工作内容：i）基于cv的……检测ii）基于ai的……检测iii）基于ai llm的知识图谱构建（听到这眼前一亮）---------分界线---------大约面试结束30-40分钟左右接到hr电话电话内容总结：1 面试官那边总体满意2 jd是……（听到这觉得jd可以去）3 入职时间及实习期（算了一下，可以去）4 薪资5 手头offer确认（表明0 offer，给了就去，期间也会面其他公司，毕竟我知道这个实习岗没有hc，但打包票的是期间我不会跳走）

日期：2026.3.11邮件回复：挂猜测原因：实习岗招满了

日期：2026.3.18时长：约45mins面试官：算法工程师（应该是吧）面试岗位：强化学习算法实习生工作地：北京内容：1 自我介绍2 实习相关（导师是否放实习）3 项目拷打：我累个豆，给我毕业项目拷打完了，强化学习这边问的非常细，数据集、网络结构、状态空间……，但也不算拷打，知道不少面试官不知道的，（不）嘻嘻4 反问a 入职之后的核心工作：涉及公司核心技术研发b 有什么资源，实车、算力：不做实车，算力资源的话A100/4090都是比较普通的c 入职之后可能面临的核心问题：i   与强化学习有关（感觉可能涉密？先不说比较好，这个太具体了）ii  技术栈差异：强化学习自动驾驶决策 → 端到端自动驾驶iii 端到端技术路线采用什么，VLA or WM：不用VLA，WM有所应用，关键还是 i

日期：2026.3.23时长：约35mins面试官：算法工程师 / 产品经理 （具体不清楚，但是确实懂一定技术）面试岗位：技术研究 实习生内容1 自我介绍2 项目介绍i.  对你的XXX项目感兴趣，请你介绍一下：a 我这个项目是系列项目，第一个……，第二个……，第三个……。b 其中做的最深的是第四个，硕士毕业项目。其中，用了……，因为我更关注……。其中会面临……问题，针对这个问题的关键是……，因此我采用……实现……来解决。ii. 我对你项目中的……技术点感兴趣，请你介绍一下：a 采用这个主要考虑……，通过这个点能实现……，最终实现……效果。iii.你项目中另一个……技术点是什么，和你之前的有什么区别？a 这个的作用是……。为什么要这样考虑呢？是因为……，所以从这个角度看，我可以构建……，这样和……技术点是匹配的。那么这样这个技术点可以实现……，之前的技术点可以实现……，他们结合在一起可以实现……。iv.这个领域对于多智能体问题采用的经典方法是……，我观察到你也采用了这个方法，你的方法是否相比于其他人的同样的方法有优势？a 首先这个方法是……方法，选用这个方法是因为……。b 基于此，我不认为我的方法有特别的优势，或者说我不认为所有采用这个方法的项目较其他采用这个方法的项目会有优势，原因是这个方法是工业化的首选，其往往需要在有限的体量内解决问题，就算对其有改进，改进的工作量相比于最终获得的性能提升也是有一定的得不偿失。此外，考虑对方法进行改进并不是我们这个专业或方向的工作重点，我们更关注的是通过技术方法解决细化问题中的难点，也就是工程技术的具体应用与落地，至于方法的改进当然重要，但这个内容更可能是数学或计算机相关的关注重点。v .你做了这么多项目，是如何通过数据评价你的项目有效的？a 您是想问如何通过一些指标来量化评价项目的成效吗？ --》 是b 对于这些项目的结果评价，需要一个第一性的原理支撑。我们的原理来自于……，从其中可以抽离出几个方面进行评价。具体是……。感觉这一部分没有特别深入技术的细节，很多都是项目设计的逻辑和完备性出发的问题。3 场景提问i.  你平时关注……吗？a 关注的，我特别关注……。ii .那么你应该也知道，在这个……中会有……。如果让你来设计一个……，你会如何通过你的技术栈来设计？a 首先，我认为……有不同的行为模式和目标。那么接受的状态可以包含……，然后采用分层设计，上层宏观决策……，比如要让这个做出……宏观行为，下层微观决策……，让……做出具体的……。b 最后在执行上，可以根据……动态调整，比如……我就……，反过来则加一些噪声或者添加随机化的参数……。这一部分感觉也不算很难，根据发的面试邮件的主题提前问问ai准备一下，有清晰的思路应该就没问题。4 反问a 对于这次面试，从您的角度出发是否有改进点？i.  没有什么特别的改进点，包括其他面试官和你提的也不一定都是你需要改进的，总之这个东西千人千面，我们更关注的是你是否与我们的项目match，是否一进来就有所产出（我理解的不是马上有产出，而是在一段时间之后真的在解决问题，而不是全在学习，所以最后可能有点言重了？我不清楚，但确实是这样说的）b 对于后续的面试流程，大概会在多长时间内进行？i.  就我接触到的，一般来说都在一周之内会有反馈，不论是进入到下一环节还是pass。c 如果我最终入职了相关岗位，实习生是否有相关的算力资源？i.  有的，这一块不用担心d 如果我最终入职了相关岗位，实习生是否有相关的ai Coding额度？i.  有的，你可以在网上搜一下，现在基本上每个人每年都配备了……额度，每个月……。整体来说感觉状态良好，无手撕。

面试时间：5月20日16:00（库名人520面试）面试岗位：机器人强化学习（实习）面试问题：上来就问项目（本人项目是双足机器人RL+locomotion），问题包括，1. 为什么要设计并行worker并行采样解构？2. PPO的Loss由哪几项组成？（典中典）3. 能不能用总的Loss去更新Policy和Value网络？（我是将Loss拆开来分别更新的）4. 用了多少时间（多少步）来训练达到这个效果？还问了两个Python的问题，函数前@啥意思（修饰器）反问面试体验：聊得挺顺畅的，问答比1:3左右，就是挂。事后总结感觉不缺人。

日期：2026.3.12时长：约12mins方式：腾讯会议面试官：高级算法工程师面试岗位：具身智能算法工程师实习岗内容：1 到岗时间与实习时长2 Transformer基本原理简单讲一下：余弦编码、位置编码、计算相关性、最后使得对数据的有权重利用（其实对Transformer不是很熟，还没学到这，哭）3 pytorch使用程度如何：会基本使用4 讲一下简历上的一个项目（关于机械结构设计的）：这个设计是什么一个形式……，怎么怎么做，通过什么驱动5 嵌入式软硬件了解程度如何：本科学过51单片机课程，自己试过一个复杂开源项目，但是失败了6 面向对象编程、软件工程的东西了解多少：毫不客气的说，基本不了解7 结尾：这次是初面，后续有技术面再联系

第一个帖子给第一次面试，攒攒人品。课题：强化学习和模仿学习怎么在任务里结合的，为什么要用这两个。模仿学习收集数据怎么收集。强化学习奖励函数的设置，以及需要多少次迭代。末端力如果有噪声怎么办。实体的强化学习效果怎么样。对大模型有没有了解。对Serl有没有了解。竞赛：在竞赛中承担什么样的角色做了什么工作。八股：model-base和model-free的区别，马尔可夫性解释，为什么最优值函数就是最优策略，策略迭代和值迭代区别。代码：合并区间。感受：虽然迟到了但是面试官非常温柔，而且问的也很对口，就是我很容易说别的废话呜呜呜，第一次面试函数名用了拼音，写的时候感觉就不太好但是突然脑子里没有英文名。hr建议：多跟进最新进展成果，不要专注于两三年前的东西。如果有会大模型的也建议投一下，面试官说那边比较缺人。#

兄弟们好，最近在投机器人相关的实习，之前做的项目基本都是 Gym 那些经典环境，投机器人/自动驾驶方向的岗位基本石沉大海。后来看到不少人说现在做 RL 运动控制，有一点 sim-to-real 相关经验会更吃香，我就找能练手的平台。结果误打误撞刷到了 SAI，现在回想起来真的香到哭！ 我从 10 月中旬开始肝他们的机械臂任务 Franka Golf（就是让机械臂把球打进洞）。纯 PyTorch 手搓 PPO，本地一张 3090 完全够用。 最新成绩还算稳，榜单实时可查。 https://competesai.com/benchmarks/FrankaIkGolfCourseEnv-v0为什么我觉得这个对找机器人 RL 实习特别有帮助：- 基于 MuJoCo（不少机器人公司内部也用同样引擎）- 任务标准化 + 排名可查：写在简历上比“我跑了某某自定义仿真”说服力高很多- 网站上能看到有 Booster 等国内头部机器人在赞助，名次靠前真的会被 HR 注意到，我这次写了之后，面试官真的和我聊了十分钟这个，感觉是有加分的（我现在已经杀到最后一轮了，以前投同类岗位基本没动静）总之，被虐到怀疑人生是常态，但模型投简历真的有人信！想走机械臂/具身智能/机器人 RL 方向的同学强烈建议去试试：- 注册就能直接用，环境白嫖- 现在还有 Booster Robotics 赞助的具身大赛（我已经被虐到自闭了，太难了哈哈）官网：https://competesai.com（入门的话强烈建议从 Benchmark → Franka Golf 开始，难度适中）第一次发帖庆祝一下小成功，也祝大家春招都屠榜！！！

日期：2026.3.9时长：24mins对象：HR方式：电话面试岗位：算法实习岗1 具身智能算法岗：软硬件均自研，实习岗直接接触核心研发，要求有相关垂类项目经历2 自动驾驶算法岗：a 强化学习理论了解程度：我说了一堆动手学强化学习理论那一套，过了两三遍，主流的决策RL有基础b 自己简历上的RL项目介绍：我按照时间序介绍，问的比较多的是目前做的最深的一个，关键问题、关键技术、创新点、算法选择（出于什么选择用这个算法）3 反问a 工作地：上海b 入职之后可能遇到的困难：sim2realc 是否有商业化运行：相关细分赛道头部（无人小巴士、无人清洁小车），已造血盈利d 后续是否有其他面试安排：1-2轮技术面 1轮笔试 1-2周内进行

组内直招，地址在上海杨浦互联宝地，招聘日常算法实习生。私聊/评论时请注明可实习时间段。GPU充足，会有丰富的大模型落地场景。岗位描述在真实产品项目中理解算法需求，拆解问题，迭代算法、模型；基于多模态大语言模型，进行后训练（监督学习、强化学习）等算法优化，以完成产品落地；利用强化学习方法改进智能体的规划、反思、利用工具的能力。岗位要求1.国内外优秀高校在读，具备良好的计算机或数学基础，硕士博士优先，特别优秀者可以放宽至本科；2.具有LLM（大语言模型）方向经验，熟练掌握Python，掌握至少一个深度学习框架；3.coding能力强，善于分析和解决问题，具备较强的自驱力、学习能力、沟通能力、团队意识；4.实习时间至少3个月，每周保证4天以上实习。无论是你有技术热情，或业务落地应用的想法，都可以来加入我们~~！

各位牛友大家好！近期准备具身智能/机器人/控制类算法岗的同学，是不是经常被面试官追问 PPO 的截断机制、贝尔曼方程的手推，或者 DDPG 和 TD3 的区别？为了复习这些硬核考点，我整理了一份 200 页的强化学习笔记。没有废话，全是面试和手撕代码最爱考的底层数学原理与算法架构，现免费分享给大家当复习资料！笔记提纲速览：👉 核心数学推导篇（夯实基础）：MDP与贝尔曼公式：吃透状态价值与动作价值的推导。DP / MC / TD 对比：从值迭代/策略迭代，到蒙特卡洛，再到 Sarsa 和 Q-learning 的收敛性分析及区别。PG与AC定理推导：重点整理了策略梯度的目标函数计算，以及 Ac...

情况:面完一面过了一周，HR直接发了OFFER，没有二面，已ocPPO与GRPO的区别，分别介绍他们的优势与缺点DPO对齐训练的曲线是怎么样的，正例的概率会提升嘛,参考这个知乎回答:Deepseek-R1里面不仅推理能力很好，而且文采能力也很好，这个是个开放问题，如何让模型的文采能力也很好呢？介绍你在实习做的事情，有遇到什么case嘛，怎么解决的deepseed介绍deepspeed的每一段的通信比较，zero3分别是0和2的多少倍，1.5倍DPO如何解决回答过长的问题，除了正则开放问题：为什么现在大家都在关注于大模型的推理能力reasoning对于一个base model如何增强大模型的re...

因为投的比较晚，所以目前进行到一面，后面是主管面和HR 面。      一面（1小时20分钟）：主要是聊项目和论文，撕了一道蒙特卡洛估计的题     从论文的DDPG算法开始聊，TD3，SAC算法，应用场景，优缺点啥的  聊王者荣耀比赛，从网络结构设计（特征工程、channel attention，self-attention，multi-head value estimation），奖励函数设计，算法设计（dual-clip PPO + NoisyNet， 此处对RL 中的探索方法展开了一下），训练流程设计（自对弈模型筛选、策略集成），聊完之后面试官已经比较满意了，后面就是随便聊了些跟CV相...

工作职责 岗位内容：强化学习前沿算法的探索针对游戏相关场景完成强化学习算法的实验与项目落地任职要求岗位要求：1. 具备扎实的深度强化学习技术积累和实践经验2. 具有良好的解决问题和沟通能力，对技术和游戏充满热情3. 发表过相关顶会文章或参与过相关高品质项目开发

工作职责 1. 利用强化学习技术解决项目实际问题，推进相关业务落地；2. 探索最前沿的强化学习理论和算法，并且能够结合运用到项目中。任职要求1. 本科以上学历，计算机等相关专业，扎实的深度强化学习和技术积累；2. 发表过强化学习等相关领域的顶会论文或高品质项目开发经验；3. 熟练使用强化学习框架，有分布式强化学习积累优先；4. 具备良好的解决问题与团队沟通能力，对技术和游戏充满热情。投递链接https://jobs.mihoyo.com/?sharePageId=33869&recommendationCode=NTAWnlu&isRecommendation=true#/position/3801

论文题目：Prolonged Reasoning Is Not All You Need: Certainty-Based Adaptive Routing for Efficient LLM/MLLM Reasoning论文地址：https://arxiv.org/pdf/2505.15154论文详解：https://mp.weixin.qq.com/s/_Rhj8TQFgRFka9xj3xwBpQ核心贡献1、提出了一个基于模型置信度动态切换短答案和长形式推理的 CAR 新框架，实现了准确性和计算效率之间的最佳平衡。2、通过广泛的初步研究，验证了困惑度（PPL）可以作为模型置信度的可靠指标，并通过高斯建模建立了其与答案正确性的关系。3、在 LLM 和 MLLM 上进行的广泛实验表明，CAR 在保持推理准确性的同时，显著减少了推理标记的使用，优于短答案和长形式推理方法。4、CAR 超越了以前的推理标记减少方法。例如，使用 Qwen2.5 时，CAR 在整体准确率上提高了 6.9%，同时减少了 21.4% 的标记消耗。使用 Llama3.1 时，它实现了 5.5% 的准确率提升和 39.0% 的标记使用减少。实现方法1、使用包含短答案和长形式推理答案注释的示例进行训练，通过标准指令调整过程优化交叉熵损失。2、在训练数据集的所有示例上进行短答案推理，计算每个短答案的 PPL 值。3、假设正确和错误短答案的 PPL 分布遵循高斯分布，通过训练数据估计这些分布的参数。4、对于新的输入示例，首先生成短答案并计算其 PPL 值，然后根据 PPL 值在正确和错误分布下的概率进行决策。如果短答案被认为是正确的，则直接输出；否则，模型将执行长形式推理以获得更准确的答案。