IDEA研究院大模型面经

GRPO（Group Relative Policy Optimization）虽然最初是为强化学习中的reasoning任务（如需要多步决策、逻辑推理的任务）设计的，但其核心思想——通过组内策略的相对比较来优化策略——也可以应用于非reasoning任务（如简单的控制任务、分类任务甚至生成任务）。以下是具体的分析和建议：首先我们看下GRPO的关键创新点是：✅组内相对比较（Group Relative）：将策略分成若干组（group），在组内比较不同策略的表现，而非绝对优化单个策略。✅相对策略梯度：通过组内策略的相对优势（relative advantage）计算梯度，降低方差并提升稳定性。这种思想本质上是一种基于比较的优化方法，与任务是否需要“reasoning”无直接关系，因此可以迁移到非reasoning任务中。🤔那么有哪些非Reasoning任务的适用场景呢？（1）简单控制任务（如机器人控制）问题：传统PPO可能因稀疏奖励或高方差导致训练不稳定。GRPO改进：将不同控制策略分组（例如不同参数化的控制器），在组内比较它们的表现，选择相对更优的策略更新。示例：机械臂抓取任务中，组内可以包含不同的抓取轨迹策略，通过相对优势选择更稳定的策略。（2）生成任务（如文本/图像生成）问题：生成模型的策略优化通常依赖对抗训练（GAN）或最大似然，容易陷入模式崩溃。GRPO改进：将生成器分成多个组（例如不同初始化或架构的子生成器），通过组内生成样本的质量相对比较优化策略。示例：在文本生成中，组内比较不同生成策略的流畅性、多样性等指标。（3）分类/回归任务问题：传统监督学习直接优化损失函数，可能对噪声敏感。GRPO改进：将模型的不同参数化版本（如不同dropout、超参数）分组，通过组内相对性能（如验证集准确率）更新模型。示例：图像分类中，组内比较不同数据增强策略的效果。✴️总结GRPO可以用于非reasoning任务，但需重新设计组的划分方式和相对比较的指标。其核心优势在于通过组内相对优化降低方差，适合奖励稀疏或需要多策略并行的场景。如果任务本身已有高效优化方法（如标准的监督学习），GRPO可能不会带来显著提升。🍊如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1️⃣抖音一面1、聊项目。2、AUC的两种公式是？你能证明这两种等价的吗？3、BERT-CRF中，为什么要加CRF？好处是？4、self-attention为什么要用QKV三个矩阵，不用有什么问题？有没有哪个模型的Q和K矩阵是一样的？5、reinforce属于on-policy还是off-policy？为什么？6、reinforce带上baseline好处是？reinforce的loss写一下？7、策略梯度会推导吗？简单写一下？8、代码题（代码题一般别着急写，先跟面试官说下思路，确定了再写）：lc 46，全排列（lc表示leetcode，下同）。lc 73，矩阵置0。2️⃣抖音二面1、介绍项目。2、知识蒸馏有哪几种？你觉得哪种效果最好？3、nlp的数据增强方法，主要有哪几种？每一种举个例子？4、分类的损失函数为什么是交叉熵而不是mse？5、BERT对输入文本的长度有什么限制，为什么要限制长度呢？6、BigBird里面有哪几种注意力机制？相比原始transformer的self-attention的优势？7、场景题：如何根据拼多多的商品数量，估计淘宝的商品数量？8、给出emb_size, max_len, vocab_size, ff_inner_size，num_heads, 12层，求BERT参数量。9、代码题：n皇后问题。3️⃣抖音三面‍1、简单聊项目。2、CRF和HMM区别？CRF为什么比HMM效果好？3、如果BERT词表很大，比如vocab_size达到几百万，怎么办？4、快速手写一些transformer的mha（多头注意力），伪代码意思一下就行。5、为什么对比学习中，temperature很小，而知识蒸馏的temperature比较大？6、你觉得在抖音买东西，和淘宝、拼多多他们的区别是？（我没在抖音买过，就只能现场编。）7、你最近看到过哪些paper？简单介绍下？8、你觉得自己有那些优缺点？平时喜欢怎么缓解压力？📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

积功德职位描述：1. 负责机器学习、深度学习等算法在得物业务场景的产品化工作2. 包括但不限于如下方向：目标检测，图像分割，图像分类，NLP，多模态，大模型等职位要求：1. 熟悉Linux环境开发，熟练掌握 Python 语言，有较强的编码能力2. 熟练使用一种深度学习框架如Pytorch、TensorFlow等，熟悉OpenCV、NumPy、Pandas等常用库3. 对云原生有一定了解，有容器化使用经验者优先4. 有GPU编程经验、熟悉算法模型部署、 TensorRT 优化工具者优先5. 图像处理、模式识别、计算机视觉、计算机图形学、机器学习等计算机相关专业在读研究生优先一面（2025.7.10）30minHR发给我的邮件是上午 11 点，我 11 点进会议等了半个多小时没人退出去了，12 点多的时候，HR微信联系我说怎么没进飞书会议，然后我赶紧爬起来进会议。。。搞忘了，日本和国内有一个小时时差，麻了。。。1. 面试官进来直接说你的简历我已经看过了，自我介绍一下吧2. 几乎是纯聊天。。。面试官说我的经历非常匹配（暗示）3. 大模型有没有推理优化经验？无，我说以前主要做CV算法，接触和使用过扩散模型，这也算CV大模型🤗4. 算法题：最大子数组和（秒了）5. 硕士研究内容？6. 偏向算法还是调度？有没有调度相关经验？无。。。7. 你们推理部署是怎么做的？我介绍了自己之前负责和参与过的GPU侧和端侧的推理部署8. 写过CUDA吗？熟不熟？学校里深入学过，之后因为业务关系，没啥使用场景，可以再捡起来9. 你还做过AIGC？有没有NLP相关经验？基本的概念和算法比如 tf-idf, n-gram，word2vec 这些都是知道的，做过文本分类任务，了解 Transformer、CLIP10. 有没有多卡推理优化经验？有多卡训练经验，多卡推理没做过。。。11. 问什么时候能来实习？答最快这月底就能到岗，3个月时间可以保证，每周5天12. 你知道岗位base地吗，能接受吗？我说就是期望在国内实习，上海完全能接受，表现出很想去的意愿🤣13. 反问：组内主要业务场景？商品内容理解、文本理解、AI鉴定商品真伪、推理优化等。学聪明了，面试官框框介绍完，我添一句“那还是挺期待的”🤣，疯狂暗示一面面试官貌似就是老大，结束后HR直接说过了，进offer流程。。。今年暑期准备就去这个了，主要是面试官和善，面试体验好、务实，其余都是次要的（没认真找，随便投投，攒攒面试经验，我觉得现在找工作看眼缘、看运气。本来想着回家吃饭睡觉的 日本饭好难吃啊。。。

1️⃣自我介绍：【⌚️10分钟】点评：流水账，有些磕磕绊绊，自我介绍环节的项目介绍的很详细，非常冗余。优化：写逐字稿，背诵，提升语言表达能力。2️⃣经常问题的问题优化：【⌚️20分钟】1：transform结构了解吗？回答点评：回答的很简单，5分吧，说了transform的结构是encode-decode结构，分块，每个块里面有四个组建，MHA、FFN、LN、残差链接，介绍和理解不深刻。提升指导：梳理回答逻辑结构，讲解MHA、FFN、LN、残差链接的添加逻辑和含义，其中MHA给出代码层面理解，从2分钟的回答变成6分钟的回答。2：多头自注意力机制是啥？公式是啥？代码你会写吗？回答点评：讲了公式，但是掌握的不够细致，pytorch代码框架不熟悉，attention_mask机制没有写出来。提升指导：讲述代码的原理，如何使用代码回答问题，展示自己的理解深刻。3：rag中的多路召回是什么？embeding为啥用智源的BGE-large/Base？回答点评：使用了BM25和向量召回，但是没有讲出来两个的区别和联系提升指导：先讲原理，再讲述下语义理解能力和泛化能力的区别，计算的效率，两个互为补充等。3️⃣不会回答的问题指导：【⌚️40分钟】1:  LN不太会回答，看网上的回答很多，但是不是理解层面。2：我的向量召回是faiss做的，和这个相关的问题我如何准备？3：经常会被问到rag用的啥框架，这个问题如何回答？还需要准备框架的知识吗？4：面试官经常问我，rag的模型是啥？有做微调吗？如果不做微调怎么回答？5：大模型还需要补充那些知识？📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。