项目深挖 1.训练时显存占用高的瓶颈在哪?做了哪些显存优化?2.如果重新做一次，你会在哪些环节提前做ablation?3.在多Agent系统中，如何保证异步任务执行的稳定性和结果一致性?4.如果Agent推理API需要低延迟响应，你会从哪些方面做系统级优化?5.你做Prompt优化时，是如何判断优化后的Prompt在Agent推理链路中性能提升的?用什么指标来衡量?6.你提到用DeepSpeed做SFT训练，请讲一下DeepSpeedZeROStage1-3的区别，以及什么时候用FSDP会更好?7.在你的问答Agent项目中，数据集构造的自动化流程是怎么实现的?8.你是如何利用多Agent协同来提高推理正确率的?调度策略如何实现?9.介绍一下RAG的整体流程。在Agent落地场景中，RAG会遇到哪些延迟和正确率问题?你怎么优化召回链路?八股1.AdamW与Adam在权重衰减上的实现差异?2.梯度累积等价于batch扩大的严格条件是什么?3.PPO的核心目标函数是什么?每个符号的物理意义?4.相比PPO,GRPO的"Group"体现在哪一步?5.KL散度在RLHF阶段出现的位置、作用以及过大/过小分别会导致什么现象?6.Multi-Agent场景里，Reflection模块与Memory模块的输入输出各自是什么?它们如何解耦又能互相增强?

1.MHA（多头注意力）机制详细讲一下，Q/K/V 怎么算？2.Qwen、ChatGLM、Llama 三者架构核心区别是什么？3.ChatGLM 为什么用 GLM-style attention？优势在哪？ 这个问题啥意思4.DeepSeek 的模型结构有什么特点？MoE 还是 dense？5.RoPE（旋转位置编码）原理是什么？为什么比绝对位置好？6.PPO 算法公式写一下？能不能不用 Value Model？7.GRPO 是什么？和 PPO 有什么区别？知道 GAE 吗？8.交叉熵 loss 公式怎么推导？具体怎么计算的？9.代码生成你怎么看？像 Trae 这类工具，项目代码怎么喂给 LLM 的？10.手撕题：最长回文子串（LeetCode 5）

1.默写二元交叉熵损失函数2.是否了解Sigmoid函数，Sigmoid函数有什么缺点3.MHA的运行机制4.为什么Transformer使用三角函数位置编码，相比于[1,2,3..]这种硬编码的好处在哪?5.Transformer的Attention计算过程中为什么要对QK的点积进行scale6.CLIP学习的范式，是如何构造正负样本对，如何进行对比学习7.解释Q-former机制，以及其中可学习Query的意义8.Temperature有什么作用9.聊项目10.代码:搜索旋转排序数组

项目方面： 1、项目LLM如何微调的，数据如何注册到LLaMA Factory中？2、项目中最大的挑战是什么？面试官认为这个项目比较简单，就问了从这个项目中学到了什么？3、针对项目内容做了些提问，例如模型尺寸、为什么这个尺寸、内容、样本token、有没有bad case？4、聊了一些关于LLM的Json结构化输出5、结果的评估八股方面：1、1.7B模型为什么要用LoRA微调？全参微调会占用多大显存？2、关于batch size大小与泛化性关系、以及和learn rate的关系，以及累计梯度3、LoRA如何做初始化？4、Transformer中Encoder和Decoder的区别和联系，以及如果单独分开的话，优缺点是什么？5、Transformer中最核心的是Attention，Encoder中的叫Self-Attention，Decoder中的可以叫Self-Attention吗？6、有哪些代表性的Encoder模型，因为我回答了BERT，就追问了bert的训练任务？7、Tokenizer方法有什么？原理介绍一下。如何从自然文本映射到词汇表，即做Encode？文本中特殊的token如何处理？是要直接拆开吗？8、为什么需要位置编码？位置编码主要特征是什么？位置编码特性是什么，或者说怎么样才是一个好的位置编码？主流位置编码，及其思路？9、大模型中对显存的优化？模型、架构、或工程上？量化的对称量化和非对称量化？手撕：买股票的最好时机

感觉过去几年我把自己逼得太狠了，结果可想而知，Flag立得越狠倒得越快。。2026年我不会再追求完美，只求踏实，目标变小了，更容易达成，反而更有劲儿，毕竟人不是需要24小时运转的机器，偶尔有些没用躺平的时光才是生活的留白吧

一、算法手撕+八股1. 手撕旋转矩阵优化 要求时间复杂度O(n²)空间O(1)2. LayerNorm和BatchNorm在训练时梯度计算有何本质区别？3. 推导MoE架构的负载均衡损失函数 如何避免专家坍缩4. 多模态融合中 对比学习损失和重构损失如何加权？5. 解释KV Cache的内存瓶颈 推导多头注意力计算复杂度二、项目深挖1. 微调Qwen时发现验证集loss震荡的可能原因2. 多工具调用中如何用DAG实现并行调度优化3. 长文本推理的压缩方案 对比Sliding Window和NTK4. 模型量化时遇到激活值异常溢出如何调试5. 自主构建的评估体系里 如何分离知识幻觉与推理幻觉三、场景设计为智能客服设计多轮对话系统：1. 如何用思维链提升工单分类准确率？2. 设计工具调用降级方案应对高并发场景3. 在有限算力下平衡响应速度与推理深度4. 构建用户意图漂移的实时检测机制

1，实习项目a是什么，用处在哪2，实习项目b做的动机是什么，为什么要这么干3，实习项目c主要涉及哪些方面，业务上不一样在哪（我哪敢说太多……）4，c为什么直接换模型了，有可能只是样本分布不一样；看过里面mmoe权重吗，保序回归分桶怎么做的5，实习那边广告会对用户流量做区分吗6，比赛a怎么做的7，召回可以限定用户行为序列长一点，每个少召回一点（我说这样可能重复率太高）8，后面排序特征设计？9，了解llm做生成式推荐吗，聊聊大家对这部分的想象空间。（我不到啊，胡言乱语了）10，有发论文吗（没啊）简单说下相关工作的思想手撕：编辑距离秒了反问1，部门业务后续发展方向2，可能承担的工作3，组里的具体工作

1.实习介绍2.transformer为什么比RNN好，有没有scaling law3.介绍一下新闻推荐的项目4.新闻推荐比赛的正负样本怎么确定5.了解生成式推荐吗?6.SID如何训练的7.Tiger为什么不采用decoder-only的形式呢8.否熟悉推理优化中的flash-attention和KV-Cache?9.KV-Cache出现在训练中还是推理中?10.为什么不出现在训练中使用KV-Cache?11.注意力的优化是否了解?12.手撕:接雨水

1.拷打项目2.八股主要是RL，PPO和GRPO3.了解RL吗，介绍一下GRPO4.GRPO采样代替价值函数会带来什么问题，有什么优化方式5.问了偏向research还是工业界6.手撕编辑距离

1、实习介绍2、详细挖简历A 、项目的思路、爬虫怎么防止反爬、有多少个epoch、为什么微调效果92%，剩下的8%是什么原因有分析吗、有没有别的思路解决这个问题B 、lstm的原理、比rnn好在哪里C 、实习详细介绍、xgboost和lightgbm的区别、样本不平衡怎么解决、有更大的内存更多的显卡会怎么处理这个问题3、手撕：查询第K个最大的数

大模型算法，30k×16+qzf，base太低拒掉了

1.八股：LoRA 和全参数微调的核心区别是什么？在显存和训练效率上各有什么优劣？2.八股：DPO、PPO、GRPO 三者的优化目标有何不同？为什么 GRPO 的 loss 中要显式加入 KL 散度项？3.八股：Transformer Encoder 中 FFN 的作用是什么？4.八股：什么是 DeepSeek 的 MLA？它的优势是什么？5.项目: 你在实习中用 LoRA 微调了哪个开源大模型？具体 rank、alpha、dropout 是多少？为什么这样设置？6.项目：SFT和DPO 数据是否有重叠？DPO 的偏好数据是如何构造的？人工标注成本大概多少？7.项目：你们的 RAG 系统召回阶段用了 BGE-M3 还是 BM25？最终选择依据是什么指标（如 Recall@k）？BGE-M3 输出向量维度是多少？8.项目：为什么不用纯向量相似度直接生成答案，而要再过一遍大模型？这样做对幻觉和安全性有什么帮助？9.手撕：接雨水（LeetCode 42）

1. 假设你需要优化B站信息流广告的CTR预估模型，如何融合用户行为序列特征？◦ 追问1：你会使用哪些序列建模方法（如Transformer、GRU）？◦ 追问2：如何处理特征稀疏性问题？2. 描述一次使用深度学习模型进行点击率预测的经历，模型评估指标是什么？3. 解释广告投放中的动态创意优化（DCO）技术，如何实现广告素材的个性化推荐？4. 在多目标优化中，你的权重分配策略是什么？◦ 追问1：如何平衡CTR、CVR和ROI目标？◦ 追问2：会使用哪些多目标学习框架？5. 分享一次通过模型优化提升广告转化的经历，关键特征是什么？

1.实习介绍2.在建模这一块具体有做哪些工作，介绍一下causalimpact模型，深入的讲一下这个模型的原理和逻辑，他是怎么做的?3.讲一下MMOE这个算法的原理，专家网络和任务塔的区别是啥，你有关注到吗?有多个专家网络，如何避免他们学出来的结果是相似的?4.讲一下你对因果推断领域的了解，有做过uplift建模相关的工作或相关的资料吗5.代码手撕1.力扣复原ip地址2.力扣 求根节点到叶节点数字之和