✅一面 1、广告领域如何运用运筹优化方法？（我是运筹转广告）2、介绍一个最有难度、体现能力的项目3、手撕：计算岛屿数量4、手撕：最长递增子序列✅二面1、介绍项目，项目拷打2、手撕：给定邻接矩阵和集合a和b，找出总距离最近的a-b连接集合，要求a都用到，b不用都用到且可以重复；要求时间复杂度N3、数学题：三门问题，三扇门其中一个有奖品两个是空的，你先选一扇，然后主持人打开一扇是空的，此时问是否要更换选择4、数学题：10个同学，至少两个生日为同一天的概率是多少？✅三面1、项目问答2、强化学习有哪些分类3、介绍一下PPO、DQN，写一下DQN损失表达式4、LR和DNN中最后一层作全零初始化是否会影响训练5、LR的梯度表达式6、手撕：给定一个数列，要求找到一个分隔点划分A1和A2，使得A1和A2的方差最接近（要求时间复杂度 O(n), 空间复杂度 O(1)）回答：最直接的方法是遍历各个分割点，每次重新计算两边的方差，最后取最好的一个分割点，这个复杂度是 N^2。优化复杂度的方法就是，把方差的公式分解开，在遍历分割点的过程中，把一些能重复利用的信息利用上，变成 N 的复杂度。✅HR面1、弱化技术地介绍一个最有成就感的项目2、问一些团队合作、沟通交流、克服压力的经历3、选择 offer 考虑哪些因素 4、未来职业规划📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

✅一面 1、lora为什么能实现单模型多风格的一个生成作用在sd哪里（交叉注意力层）2、clip结构为什么在多模态任务里有用？  transformer结构多头注意力作用；3、为什么需要位置编码；解决长序列的一些策略（这个不会）4、mmoe专家网络什么独立什么共享5、mmoe怎么解决梯度冲突的问题（我忘了应该看过）6、给你transformer和mmoe怎么样构建一个推荐系统✴️代码题:7、给一个正整数数组想把他分成两个元素和相等的子集输出是否相等8、概率题小朋友饭盒标签掉了生气了抢饭盒抢自己或者排队里别的小朋友的别的小朋友被抢了也生气再抢别人的问最后一个小朋友拿到自己饭盒的概率📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

✅一面 ✴️0、手撕： tokenizer，RAG基本流程（可伪代码）✴️项目：1、项目具体解决问题2、每个模块如何实现3、NL2SQL在处理多表查询的时候采取啥策略4、k8s和docker在项目中的作用✴️八股：5、对PPO DPO GRPO计算逻辑的理解6、对KL散度的三种估计的理解7、LoRA和p-tuning v2的区别，怎么初始化8、DeepSeek R1训练全流程，MLA具体怎么做的9、梯度爆炸和消失怎么处理的10、torch中register_parameter和buffer啥区别11、torch如何实现不记录梯度12、torch squeeze和unsqueeze干嘛的13、python设计删除流程的时候，若涉及可变和不可变对象该如何debug14、多机多卡和单机多卡的实现上有什么不同？15、tokenizer的输出？📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

✴️一面 1、数据集构成2、最长的点击文章序列长度3、为什么选用DIN模型，介绍下DIN  4、DIN跟传统神经网络DNN CNN区别5、DIN是拿哪些信息训练的6、LGB只用了统计特征吗，已有embedding，为什么不用深度模型呢7、LGB输出的是什么，它的预测分数是什么8、DIN的输出和预测分数是什么9、加权融合部分怎么做的，权重怎么定，为什么DIN高10、为什么不用LGB和DIN的结果（DNN之前）做拼接再softmax，而是在外面做加权融合呢11、u2i是自己做的还是模型自动做的12、相似度矩阵具体怎么做的13、有了解过FM吗，为什么不用FM或者自适应的特征交叉之类呢14、最后拿到的结果是什么样的，和第一名的差距如何✴️反问：1、广告推荐的场景--所有广告的推荐2、具体负责的工作--提升广告和用户的匹配度和匹配效率，偏向广告主侧3、实习生培养模式--课程、带做项目，短周期输出校验4、建议--学原理，深度优先📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

✅第一轮 1、首先用ppt做了自我介绍然后就开始讲解在第一段实习期间做的工作内容，讲的非常非常详细，包括目前多模态对抗攻击的现状是怎么样的（你论文处在什么样的位置），还讲解了我论文的主要创新点是什么，优势是什么2、同时，还引入到了另外一篇在投的论文，说明了其对于chatgpt攻击的可行性，因此引出了他对攻击整个方法的思考与了解，想要了解对抗攻击都有哪几种分类，哪几种扰动策略，他们分别的难点是什么等等3、然后我又将其引入了soft prompt中，讲解其在recall presicion的trade off以及内容合规（让模型生成该问题不可回答）等等上面的可行性4、之后介绍了另一段实习这边在语言大模型和多模态大模型上面的工作内容，介绍多模态大模型的工程经验等等。5、最后做了一个重排列表的题。6、然后反问环节，问了他们组的工作内容，他们组目前有两个北斗，两个L8,其中一个入职是L7,然后一年升为L8,公司蛮看重，给你申请资源做。7、又问了我目前的职业发展规划是怎么样的✅第二轮1、首先用ppt做自我介绍，直接转到了实习部分2、先介绍了第一段实习，问我论文的主要创新点是什么3、然后介绍了第二段实习，先仔细介绍了第二段实习经历，包括业务情况、5b大模型的各种训练情况、多目标训练情况，并详细的介绍了我的soft prompt4、之后就是多模态大模型的各种细节5、最后让我找一篇论文进行讲解，主要创新点什么的6、最后做了个题：二叉树根节点到叶子结点的所有路径和✅HR面问了很多，超级详细📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1️⃣问题背景DPO的偏好对齐缺陷：DPO通过对比正例（偏好响应）和负例（非偏好响应）优化模型，但人类标注的偏好数据中，长度与质量常存在隐含相关性（例如，长响应可能因更详细而被偏好）。若正例普遍比负例长，DPO模型会简单学会“生成更长文本”而非“生成更好内容”。反之，若正例更短（如简洁回答），模型可能过度缩短输出，损害信息量。后果：模型可能通过“走捷径”（利用长度偏差）而非真正提升语义质量来优化偏好目标，导致生成结果不可控或低效。2️⃣论文核心思想提出一种方法，解耦（disentangle）长度与质量，使DPO模型能够：独立学习响应质量，不受长度偏差干扰。显式控制生成长度（例如指定生成长度或保持与参考长度一致）。关键方法：长度归一化偏好损失（Length-Normalized Preference Loss）：在DPO损失函数中引入长度归一化项，消除长度对偏好得分的影响。例如，将正负例的对数概率差除以各自长度，避免模型仅通过增加/减少长度优化损失。长度条件化生成（Length-Conditioned Generation）：在模型输入中显式加入长度控制标记（如），引导模型按指定长度生成。3️⃣ 解决方案的技术细节长度归一化损失函数：修改标准DPO损失，将响应概率按token数量归一化：其中 (|y|) 是响应长度， 是温度系数。长度控制机制：在训练时，将目标长度作为附加条件输入模型（如前缀标记）。在推理时，用户可通过指定长度标记（如）精确控制输出。4️⃣解决的问题与贡献消除长度偏差：证明标准DPO会因长度偏差过拟合，而新方法能分离长度与质量的影响。可控生成：用户可独立调节长度和质量（例如生成“简短但高质量”或“长且详细”的响应）。效果提升：在人工评估中，模型在相同长度下的语义质量显著优于原始DPO。5️⃣ 实验验证数据集：在Anthropic Helpful/Harmless、OpenAI Summarization等偏好数据集上测试。结果：原始DPO模型生成长度与训练数据正相关，而新方法生成的响应长度更接近用户指定值。在固定长度下，新模型的响应质量（如相关性、连贯性）优于基线。整体上，对上述问题的解决的途径如下所示：数据平衡：确保正负例的长度分布均衡，或显式构造“短正例+长负例”的数据以抑制过长输出。长度惩罚：在推理阶段加入长度归一化（如beam search中的长度惩罚）或显式约束生成长度。正则化：在训练时加入长度相关的辅助损失（如惩罚与目标长度偏离的输出）。

✅一面 1.首先是自我介绍和过项目，面试官还一起探讨项目用到的方法，可行性之类的2.介绍一下 CLIP3.了解 LoRA 吗，LoRA 微调的原理是什么4.了解哪些多模态大模型，简要介绍几个5.BLIP 的三个损失函数分别是什么，数据是怎样清洗的6.BLIP2 相对于 BLIP 有哪些改进，BLIP3 又有哪些改进7.Qwen-VL 的三个训练流程分别是什么，有什么作用8.视觉编码器和 LLM 连接时，使用 BLIP2 中 Q-Former 那种复杂的 Adaptor 好还是 LLaVA 中简单的 MLP 好，说说各自的优缺点9.代码：实现多头自注意力✴️一面比较常规，几乎都是八股问题，我觉得只要了解常见的多模态大模型都问题不大，主要还是要理解各个模型设计的动机是什么，这也是面试最喜欢考察的✅二面1.自我介绍和过项目，简要问了项目中使用某些方法的动机，以及是否会导致其他的问题2.了解 Transformer 吗，编码器和解码器的注意力有什么区别，在计算注意力中时除以 \sqrt{d_k} 的原因是什么3.后来有哪些比较经典的基于 Transformer 的语言模型，Qwen 相比于原始 Transformer 有哪些结构上的改动，Qwen2 又有哪些改进4.了解 RLHF 吗，DPO 和 PPO 有什么区别，Loss 是什么样的，各自的优缺点是什么5.介绍一下 CLIP，还了解什么其他的对比学习方法6.开放题：了解哪些多模态大模型，目前多模态大模型最大的问题是什么7.代码：1143. 最长公共子序列✴️二面其实也偏常规，几乎也都是八股问题，但是也考察了一些对模型的理解以及知识面的广度，整体来说比一面的难度大一些✅三面1.自我介绍，然后详细过了一下项目2.了解哪些大模型和多模态大模型，然后就聊了大模型这一路是怎么发展过来的，Transformer、BERT、GPT、LLaMA、Qwen 这些，以及当时的 o1 推理模型3.平常有尝试过训练过大模型吗，规模小一点的也没关系4.聊天，包括职业规划等等✴️三面比较轻松，面试官说知识点前面两面都考察过了，三面就轻松一些，大概40来分钟吧📳**************************************。

📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

✅一面 1、数据集构成2、最长的点击文章序列长度3、为什么选用DIN模型，介绍下DIN4、DIN跟传统神经网络DNN CNN区别5、DIN是拿哪些信息训练的6、LGB只用了统计特征吗，已有embedding，为什么不用深度模型呢7、LGB输出的是什么，它的预测分数是什么8、DIN的输出和预测分数是什么9、加权融合部分怎么做的，权重怎么定，为什么DIN高10、为什么不用LGB和DIN的结果（DNN之前）做拼接再softmax，而是在外面做加权融合呢11、u2i是自己做的还是模型自动做的12、相似度矩阵具体怎么做的13、有了解过FM吗，为什么不用FM或者自适应的特征交叉之类呢14、最后拿到的结果是什么样的，和第一名的差距如何✅反问：1、广告推荐的场景--所有广告的推荐2、具体负责的工作--提升广告和用户的匹配度和匹配效率，偏向广告主侧3、实习生培养模式--课程、带做项目，短周期输出校验4、建议--学原理，深度优先📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1.请简述什么是大模型，以及它与传统模型的主要区别是什么？2.你如何评估大模型的性能？有哪些常用的评估指标？3.请描述一下你如何对大模型进行优化，以提高其性能和效率。4.你是否有过使用或开发大模型的经验？请分享一个具体的案例。5.大模型中的注意力机制是如何工作的？它在大模型中起到了什么作用？6.大模型中的优化算法有哪些常见的选择？它们各有什么优缺点？7.如何处理大模型训练过程中的梯度消失或梯度爆炸问题？8.在大模型设计中，如何权衡模型的复杂度和性能？9.面对大模型训练和推理所需的庞大计算资源，你有什么解决建议？10.请简述你了解的大模型的主要结构特点。11.reward bench上的reward model分哪几类?12. reward model如何训练的，训练目标是什么?13.dp0训练的损失函数和训练目标，dpo如何改进怎么理解大模型安全，包含哪些方面的内容？14.指令跟随能力的评估集有什么，如何评估的?15.阿尔法狗强化学习策略是什么?提升推理能力和指令跟随能力哪个更难, 为什么, 提升指令跟随能力的优化方式和其他的比如推理有什么不一样的地方?16.dpo训完了一般输出长度会变化吗? 如何解决这个问题大模型训练过程学习率一般是怎么变化的, 退火阶段学习率如何变化的?17.在开发大模型时，当你面临推理阶段的资源需求时，你如何确保模型的可解释性和公平性？18.谈谈你对Transformer模型的理解，以及它在自然语言处理中的应用。19.请简述Transformer的基本结构和工作原理？20.为什么Transformer使用位置编码(Positional Encoding)？21.如何优化 Transformer 模型的性能？22.Transformer在自然语言处理中有哪些应用？23.transformer里边norm的位置在哪里,norm如何计算的多头自注意力机制的作用是什么？24.注意力机制为什么除以根号dk, 为什么不是dk请解释什么是注意力机制，并举例说明其应用场景。25.注意力机制是如何工作的？请简述其计算过程。26.多头注意力机制是什么？它相比单头注意力有什么优势？📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

✅一面 1.直接开始八股2.Transformer 中为什么用LN不用BN3.图像中 BN 是怎么用的4.在 NLP 中如果句子长度不一致，用 BN 会有什么后果5.给定三维矩阵bsz * seq_len * dim，BN和LN分别作用在哪个维度6.已知bsz seq_len dim head，参数量是多少，和哪几个参数有关7.带有多个注意力头的注意力机制计算过程8.说出pytorch中维度变换的函数9.显存OOM，参数，ZERO，vllm，梯度累积，优化器，混合精度10.讲一下实习经历11.长度外推技术12.觉得自己做得最好的点是什么13.使用华为的框架和显卡进行SFT有没有遇到什么问题14.LongLoRA和LoRA的区别15.算法题：返回第K大的数，要求比快排更快✅二面1.自我介绍2.询问实习时间3.快手推荐实习主要做的什么4.实习期间做了哪些优化5.LLM 的长度扩展策略有哪些6.介绍 YaRN7.用户是怎么用你们的工具的8.幻觉怎么判断出来，如何解决9.是否有调用外部搜索引擎10.有没有用到Agent和RAG11.910B适配过程中遇到的问题12.深挖NIPS论文13.下游任务介绍，效果为什么会有提升14.给了一个现实生活中的例子，你的这篇论文怎么套上去15.实习期间最大的挑战16.技术上最有难度的事情是什么17.转正和目前的offer情况✅三面1.自我介绍2.对京东的感受3.有没有觉得不好的地方4.HR 介绍了京东的价值观5.科研或者实习过程中有没有做过很创新的东西6.这个过程中有没有遇到什么很困难的事情7.交流技术的渠道一般都有哪些8.觉得之前实习工作强度如何9.目前的 offer 情况✴️算法求职辅导，欢迎后台联系

1️⃣一面 时间：9.12  时长：1hcode：统计岛屿数量、最大岛屿面积，DFS方法解了然后介绍实习项目，面试官非常耐心地听，没有打断八股1.bert和gpt的区别？（从模型架构、训练方式、使用场景方面回答的）2.训练/微调一个LLM的流程？3.实习时用的 megatron 框架吗，对分布式训练框架了解多少？（回答了deepspeed和megatron区别，以及几种并行方式，以及deepspeed的三种zero）4.了解强化学习吗，跟SFT有什么区别？5.反问：业务，对岗位的期望💣评价：有点紧张，算法题有一个小失误没注意到2️⃣二面时间：9.14  时长：1h八股1.写一下 attention 公式（代码实现了下）2.训练时为什么要mask，推理时也需要吗？两处有什么区别？推理时的sequence length和训练时一样吗3.transformer和传统seq2seq模型有什么区别？4.计算attention时为什么要除以d_k，这个d_k的含义是？5.attention计算时还有哪些scale处理？6.attention中softmax函数作用、公式、为什么有减去最大值的处理？换个函数还能这样处理吗？7.解释数值上溢、下溢问题8.讲一下prompt书写的经验，如何判断prompt是否达标，如何改进prompt9.讲一下SFT，会对哪部分计算loss？为什么？10.讲一下deepspeed11.训练用一个7b模型要占用多少显存？不同zero阶段能够节省多少显存？12.训练模型时用了几张卡，有遇到什么异常中断问题吗？反问： 在乎候选人什么能力？对面试表现有哪些改进意见？💣评价： 基础不够扎实，网上有的知识都能回答上来，在同龄人里算比较优秀，欠缺一些多机多卡实践经验。

✅一面 1.深挖多模态论文介绍transformer架构2.详细说一下Decoder的因果注意力 QKV分别来自哪3.Attention为什么要做scaled 不做会怎么样 为什么用根号d_k4.Transformer怎么做加速训练（KV缓存） 训练和推理有什么区别（并行化）5.深挖多模态大模型论文用的video-llama 讲一下大模型的结构6.论文用了CoT讲一下论文的CoT是怎么样的7.微调用的LoRA介绍一下LoRA8.LoRA初始化怎么做的，用的秩是多少，为什么不选其他的数9.知道deepspeed和megatron吗？分别介绍一下10.论文用的deepspeed详细讲了一下三个stage分别是什么✅二面1.深挖多模态和大模型的论文2.Decoder文本生成有哪几种方法3.还知道哪些多模态大模型4.介绍一下ALBEF、BLIP5.BLIP2的结构是什么 两阶段怎么训练的 有哪些损失6.知道PEFT吗 讲一下LoRA7.还有什么微调方法 -> prefix-tuning和P-tuning 两者分别是怎么做的 为了解决什么提出的8.后面就是一些场景题✅三面1.深挖论文2.讲一下multi-head attention 用pytorch手撕一下 要可以实现cross attention的3.讲一下你用的大模型是什么结构 特征是怎么喂给大模型的4.大模型训练为什么不用SFT5.LoRA是什么？有什么好处6.知道RLHF吗？讲一下训练流程7.接下来就是好几个场景题，电商相关的，用大模型解决prompt应该怎么设计，怎么处理prompt的输出，怎么过滤错误格式的输出📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1️⃣项目深挖：这个项目解决了什么问题？你的数据集的大小是多大？2️⃣项目深挖：你的数据分块策略是什么，为什么要用这样的策略？3️⃣项目深挖：Embedding 用的什么模型，为什么要用这个模型？4️⃣项目深挖：向量召回后为什么要做rerank，rerank用的什么算法，为什么要用这个？5️⃣项目深挖：微调数据集是什么格式，微调数据有没有做预处理，在什么环境下训练的，用了什么显卡，内存占用情况6️⃣项目深挖：模型出现幻觉时，一般怎么解决的讲一下 Transformer 架构7️⃣encoder-only、decoder-only、encoder-decoder 不同架构在实际应用的使用场景8️⃣llama2 网络架构？使用了哪些注意力机制9️⃣llama2 的位置编码了解吗? 讲讲几种位置编码的异同1️⃣0️⃣基础大模型训练流程及资源使用情况1️⃣1️⃣了解 langchain 吗? 讲讲主要结构和主要组件，处理复杂任务链时有哪些优势1️⃣2️⃣显存不够时，一般怎么解决的，有哪些常见的优化方法1️⃣3️⃣几种主流大模型的 loss了解过吗? 有哪些异同?1️⃣4️⃣了解半精度训练吗? 展开讲讲原理和优点，在实际应用中有哪些挑战。1️⃣5️⃣deepspeed 用过吗? 分布式训练中如何提升效率。1️⃣6️⃣手写实现下分组注意力leetcode 题：合并K个升序链表📳当前大模型岗位更加强调实践，如果没有做过大模型的项目且没有针对性准备过，很难回答上。对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。