日常大模型算法智谱一面

给我面没招了，发点面经攒攒人品～1.GRPO 和 PPO 在 RLHF 中的核心区别是什么？2.KL 散度在 RLHF 中的作用是什么？它的公式如何直观理解？3.vLLM 的核心优势是什么？它是如何通过 PagedAttention 提升显存利用率的？4.Qwen3 和DeepSeek-R1 在架构上有哪些关键差异？5.微调数据集的结构是怎样的？有多少条？数据清洗和有效性验证是怎么做的？6.奖励函数是如何设计的？7.怎么避免模型靠堆字数刷奖励？8. KV Cache 在长上下文推理中可能被污染，你们有做缓存隔离或清理机制吗？9.本地部署时，如何平衡vLLM 的上下文长度和显存占用？是否做过量化或动态批处理？10.手撕：乘积最大子数组（LeetCode 152）

【一面】 1）介绍一个最能代表自己的项目2）项目里负责的边界是什么？哪些内容是亲手实现／验证的？3）电商领域预训练数据：低质过滤与去重会怎么做？用哪些简单指标快速判断数据质量？4) Pretrain 和 SFT 分别解决什么问题？5) Transformer 的基本结构怎么理解？6）多模态模型的大致结构是什么（图像编码器+连接层+ LLM )？最容易踩坑的点通常在哪里？7) SFT 数据如何更贴近业务：如何避免过度模板化？如何做基础的 train / test 去重来避免评测失真？8）对齐（ RLHF / DPO 等）整体思路是什么：为什么需要偏好对／奖励信号？【二面】1）做过的最有影响力的一件事是什么？具体推动了什么变化？2）训练不稳定怎么排查（ loss NaN 、 OOM 、吞吐下降）3) Long Context 常见思路有哪些？在业务里如何做"能看长文本但不太贵"的折中（摘要／分段／滑窗等）?4）如何做一套简单可执行的离线评测集？如何覆盖不同语言与类目？5）多模态场景怎么评估：如何检查"图文一致性／不编造信息"？优先加哪些自动化检查？6) Prompt ／模板如何管理：如何版本化、如何回滚、如何避免一次改动导致整体波动？7) 手撕：实现一个最简单的 top - k 采样（给定 logits ／概率，取 top - k 后重新归一化采样），并说明边界情况怎么处理。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

被横向挂了，希望发出来对大家有帮助！1* 简单概述你简历中的两个项目，包括项目背景以及你的具体分工，是独立完成还是团队协作2* 项目的数据来源是什么？你是如何确定优化目标的？3* 比如数据从 100 条扩充到 1.2 万条，是否全通过自动化生成？生成的样本具体是什么样的？举个例子说明一下生成前后的对比4* 怎么保证自动化生成数据的正确性呢5* 在通过调整参数直到模型回答正确为止的过程中，是否意味着生成的CoT中存在错误逻辑？6* 经过数据清洗后，最终用于SFT的有效数据量是多少？7* 在做微调时，除了 LoRA 是否对比过其他的微调算法8* 你是如何评价微调效果的？测试集的比例是多少？微调前后的准确率分别是多少？原有的模型性能保留了多少？9* LLM常用的结构是什么？10* 说一下Transformer 的整体结构11* 目前主流大模型最常用的位置编码是什么？。12* 写一下多头注意力机制的数学公式。13* 公式中为什么要除以 \sqrt{d_k}？其对梯度消失或梯度爆炸有什么影响？14* 在 Transformer 的 Encoder 和 Decoder 中，哪些部分是可以并行计算的，哪些不可以？15* 除了 LoRA，你还了解哪些微调方法？16* 大模型训练通常使用什么损失函数17* 在机器学习基础中，二分类问题、多分类问题以及回归问题分别使用什么损失函数？18* 你了解哪些优化算法19* 模型训练中出现过拟合的常用解决方案有哪些？20* Dropout 在训练阶段和预测阶段的处理方式是否一致？为什么要这样做？21* 大模型中的“复读机问题重复生成是什么原因导致的？如何从解码策略或训练层面解决？22* 幻觉问题产生的原因是什么？目前常用的工程解决方案有哪些？23* 写出逻辑回归的数学公式。

一面：讲一下论文。深挖了一下项目。讲一下强化学习。代码题不是leetcode，完整做出来了。二面：讲一下论文。grpo和ppo的区别。大模型训练流程。拒绝采样数据处理怎么回事的。问了一下对自己的期待和未来职业规划。问了我的优点和缺点。没有编程题。三面：讲一篇自己的论文。介绍项目。问了微调大模型如何卡阈值。为什么CLIP的嵌入效果不好？有什么解决办法。手撕了infonce代码。许愿hr面。