1.讲一下大模型训练的过程2.预训练的 loss 是什么？怎么做的评估？（回答不会）3.有了解 PPL 吗？（回答不会）4.sft 的 loss 是什么？lora 你用了多少卡？（现在开始八股，下面的内容全回答的不会）1.你们做的长文档 PDF，有哪些长上下文扩展方法？2.技术报告看了吗？最长上下文的模型是哪个？3.你们训练用了多少卡？4.讲一下 MHA5.讲一下 qwen 和 chatglm 的区别。和 llama 有什么区别？6.讲一下 vision encoder的 loss，clip 之后的发展有哪些？7.讲一下你看了哪些技术报告？8.chatglm 结构是什么？为什么这样设计？9.讲一下 deepseek 的结构？10.rope 有了解吗？

1.code:平台写伪代码，无重复最长子序列2.介绍三篇论文，介绍专利，深挖3.还聊不了解其他的用户序列建模的模型？4.SIM的做法知不知道？5.如果我要对一个超长序列找出我需要的50个序列，你会怎么做？（类似RQ-VAE的做法）6.多目标建模的不确定性损失介绍一下，还聊不了解其他的多目标融合的方法？7.如果多目标建模的过程中，有一个目标的权重太大，占了主要的梯度，你会怎么做来平衡？需要往球面建模的方向回答

1.code：自己建树，二叉树的最大路径和2.面试官上来让我讲讲我的论文，然后说论文方向和组里不太match3.然后就是让我讲讲我的实习的工作4.你对于GR的认识5.onerec的技术路线和一些细节（回答的很浅）6.然后问我有没有训过RL的模型？最后code，这个是做出来了

1.介绍另一个项目，还有围绕该项目的深挖比如多个大模型的统一适配是怎么做的？有限状态机的完善过程是什么样的？整个fsm通过几个模块来完成？2.主要考察业务场景问题：1.技术人员如何在模型生成结果中体现内容的创新性？2.想要让新用户在初次使用App时快速被吸引，你设计的模型需要注意哪些点？3.提到的收集时空两方面的数据，如何收集？收集后该如何分析处理？3.八股：1.了解过qwen、llava等大模型吗2.它们各自的核心特征是什么3.它们是怎么进行微调怎么去训练的4.手撕代码：两个升序序列的合并，询问思路和复杂度

攒人品中，欢迎评论区交流～1.在 LLM 的推理阶段，有哪些常见的解码策略?请解释 Greedy Search，Beam Search，Top-KSampling 和Nucleus Sampling(Top-p)的原理和优缺点。2.什么是位置编码?列举两种实现方式。3.请你详细介绍 ROPE，对比绝对位置编码它的优劣势分别是什么?4.MHA ,MOA,GOA 的区别。5.请比较一下几种常见的 LLM 架构，例如 Encoder-0 nly,Decoder-Only,和 Encoder-Decoder ，并说明它们各自最擅长的任务类型。6.什么是 Scaling Laws ?它揭示了模型性能、计算量和数据量之间的什么关系?这对 LLM 的研发有什么指导意义?7.请详细解释一下 Transformer 模型中的自注意力机制是如何工作的?8.什么是词元化?请比较一下 BPE()和 WordPiece 这两种主流的子词切分算法。9.你觉得 NLP()和 LLM 最大的区别是什么?10.开源框架了解过哪些?11.激活函数有了解吗，你知道哪些 LLM 常用的激活函数?为什么选用它?12.混合专家模型(MOE)是如何在不显著增加推理成本的情况下，有效扩大模型参数规模的?请简述其工作原理。13.在训练一个百或千亿参数级别的 LLM 时，你会面临哪些主要的工程和算法挑战?14.最近读过哪些 LLM 比较前沿的论文。

1.项目拷打为主2.思维链是怎么构建的，数据怎么来的3.思维链怎么检验其质量4.Reward fuction怎么设计的5.这个项目中哪些东西是你做的6.AIGC项目中的数据是哪里来的7.Agent搭建用了什么模块/包8.新建一张ppt，手写grpo公式并详细介绍9.介绍clip10.手撕：单头注意力11.手撕力扣：括号生成，给定n，输出所有可能的括号组合

1.SFT和RL有什么区别，什么场景用什么2.SFT 有哪些方法，如何判断SFT效果已经达标了3.SFT 过程中 loss 是怎么计算的4.现在基座能力越来越强，为什么还要SFT5.大模型 RAG、SFT、RL区别，分别适用于什么场景6.为什么在强化学习前要先SFT7.强化学习 on-policy vs off-policy 的理解与适用场景?8.PPO/DPO/GRPO/DAPO/GSPO，目标函数、损失函数等9.GRPO-DPO 对比10.PPO-GRPO 对比11.GRPO 公式，GRPO 公式角度来看，为什么会倾向于生成长篇大论12.GRPO的group 大小怎么影响算法效果13.GRPO 训练出现熵崩怎么办14.GRPO 如何评估优势值15.KI 散度前的系数有什么含义，应该怎么设置16.对reward hacking 问题的认识及解决办法17.强化学习的灾难性遗忘的问题18.怎么看待强化学习的未来19.对强化学习算法本身的认知，对其研究和落地怎么看

1.实习介绍2.问基于R1的复现工作，说一下ppo，dpo，grpo原理？数据怎么来的？数据有做什么处理？reward是基于规则还是模型？规则设置是怎么样的？训练过程中有遇到奖励消失的问题吗？训练框架采用什么？3.询问智能手机助手项目，让介绍项目？为什么用ppo？奖励是怎么设置的？数据怎么来的？你觉得你们这个模型泛化能力够日常生活场景吗？4.询问我对于推理的理解，为什么模型能具有推理能力？实习时长是否接受？5.介绍他们组在做什么？反问实习生会参与哪些工作？回答偏算法设计，数据会占一部分但是少量无手撕

整体面试还是不错的，但是没后续了...1、项目介绍2、Transformer结构理解请详细说明Transformer的整体架构及其核心组成部分。3、Attention机制问题为什么Attention公式中要除以√dk？这个操作有什么作用？Transformer训练过程中为什么容易出现梯度消失或爆炸问题？4、SFT实践问题在监督微调(SFT)过程中遇到过哪些典型问题？请分享您的解决方案和实践经验。5、领域数据配比问题在构建领域大模型时，如何确定不同领域数据的配比比例？有哪些考量因素？6、Decoder-only架构问题为什么当前主流LLM都采用Decoder-only架构？这种结构相比Encoder-Decoder有哪些优势？7、优化器相关问题ADAM优化器相比SGD有哪些改进？请简要说明梯度下降的原理ADAM是如何在SGD基础上进行优化的？8、代码题给定一个元素互不相同的整数数组nums，编写函数返回其所有可能的子集（幂集）。示例：输入：nums = [1,2,3]输出：[[],[1],[2],[3],[1,2],[1,3],[2,3],[1,2,3]]

无算法五八股，就是聊了一下项目1.实习介绍2.项目细节介绍3.项目:讲一下论文里的GRPO算法原理，为什么去掉KL散度，reward function怎么设置4.项目:credit assignment怎么实施的5.项目:agentic RL和普通的RL比最大的不同在哪里?6.项目:你们评测模型用的指标有哪些，介绍一下7.了解ReAct结构吗，介绍一下?8.你主要做的是多模态方向的任务对吧，有做过一些文本方面的任务吗?9.GRPO相比PPO、DPO等有什么优点?10.反问

压力强度都拉满了，一面大概75分钟1.自我介绍2.项目细节问答(太细了3.算法题:最长公共子序列4.然后开始基础编程八股，python的装饰5.python哪些库可以调用C++6.Node.js在返回时怎么指定数据类型(问nodejs我是没想到的)7.解释几种norm的区别 LN里面有哪些可学习的参数?

项目： 1.初始特征的处理(怎么做分位分桶，预处理手段、长尾分布的特征怎么处理)2.冷启动常见思路有哪些3.loss为什么选这个，怎么做的采样八股：1.手敲Transformer2.为什么MHSA的QK要除以Dk手撕：124. 二叉树中的最大路径和(hard)

项目和八股 1.grpo哪个阶段最耗时2.rollout采样3.使用过 verl 框架吗4.verl 框架为什么需要重新 forward 计算 log probs5.dapo 的几个创新- clip-higher- Dynamic Sampling- token级别优势计算6.大模型推理优化 答了deepspeed 等 不行 说这个是训练方面的- 推理主要分为两个阶段  prefill+decoder- 量化：用低精度比如int8保存 参数 激活值  KVcache- KVCache 量化（vllm也采取了pageAttention，将KV cache当成虚拟内存+页表 按照固定的page进行管理）- GQA- flash attention反问

全程拷打项目，重点在于：1.数据如何获取和筛选清洗，数据格式，输入输出，MCP的具体使用2.为什么选择Qwen3，某些sft是否必要3.多Agent如何实现协作，Langraph的特性和操作4.问了一点强化学习相关，还不是很熟悉没答太上来5.模型效果如何评测，数据集，评价指标6.Temperature为0时理论上应该可以复现模型输出，但实际上工程实现中并不能完整复现一模一样的输出，问为什么，如何解决？7.如果想要截断某个Agent的输出或者调用的大模型的输出，只保留最相关的部分，如何用代码实现8. 代码：一道hot100原题，排序数组查找第一个和最后一个，秒了