1. 自我介绍+介绍论文，追问了很多跟数据相关的问题2. 介绍TIGER，问 有了用户行为序列的话，用户信息还重要吗3. 介绍HLLM4. 有了解数据方面的prompt工程吗？手撕要用本地IDE写，面试官发的题我看不到（没下面试软件），后来面试官念题目给我手撕：lc746 使用最小花费爬楼梯讲思路和逐行讲代码反问

1.和传统SFT相比，RLHF旨在解决语言模型中的哪些核心问题？2.在Agent的设计中，“规划能力”至关重要。请谈谈目前有哪些主流方法可以赋予LLM规划能力？（例如CoT, ToT, GoT*)3.什么是多智能体系统？让多个LLM Agent协同工作相比于单个Agent有什么优势？又会引入哪些新的复杂性？4.你用过哪些Agent框架？选型是如何选的？你最终场景的评价指标是什么？5.你简历中的客服Agent项目，是如何判断用户意图是否需要调用外部API的？用了分类模型还是prompt判断？6.大模型生成工具调用时，如何避免参数格式错误？有哪些后处理或约束解码方法？7.当多个工具都能完成子任务时，你的Agent如何做选择？有没有引入打分或排序模块？8.在Agent中引入“记忆”机制时，为什么常用向量数据库？如何设计embedding和检索策略？9.项目上线后，你是如何收集bad case并迭代模型/策略的？有做在线学习吗？

1.实习介绍2.材料项目介绍3.数据是怎么构造的4.荣耀实习介绍5.快速排序的核心思想，怎么选轴比较好6.如何解决哈希冲突，如何优化探测法7.transformer中的kv cache8.如何设计上下文可以利用模型的kv cache9.如何处理token过长的问题10.rag的召回重排11.如何设计agent的记忆部分12.平时是怎么学习新的技术的13.最近感兴趣的GitHub仓库14.分享一下对deepseek论文的阅读15.MOE是解决什么问题的16.你后面会考虑荣耀吗？反问:组里目前做的业务（面向商家）还有招人需求吗？（需求多）

1，介绍RAG流程；介绍对编码模型的了解、原理、优缺点；如何评估编码模型的能力2，RAG有哪些分类；多模态RAG有哪些实现框架；伪多模态RAG和多模态RAG分别怎么实现，有什么区别；CLIP可以用于哪一类多模态RAG，为什么3，RAG怎么评估，RAG评估体系中最重要的是什么4，传统RAG有什么痛点；介绍GraphRAG，GraphRAG的难点是什么；GraphRAG如何应对增量场景5，介绍微调负责的工作；大模型微调最重要的是什么6，后训练有哪些方式；微调有哪些方式，分别是怎么做的；LoRA原理及参数量7，介绍DPO；DPO与PPO的区别8，介绍一些Agent的实现框架；这些框架有什么区别；LangGraph适用于什么场景；LangGraph构建Agent的方式有哪几种9，场景题：客户输入一个软件或网页界面截图，如何通过RAG的方式帮助用户了解界面的每一个组件的作用（？？？说实话没太听懂），输入输出自己定义；相似的组件如图片框和视频框如何区分10，算法题：2n+1个数，两两成对，找出单独的那个数11，反问

1. Encoder与Decoder中注意力机制存在哪些差异？2. 注意力机制的计算流程是怎样的，为何在计算时要除以根号下Dk，掩码注意力机制又是怎样达成的？3. 阐述GQA、MQA、MLA的原理分别是什么。4. 位置编码的必要性体现在哪里，为何选用sin_cos函数进行位置编码？5. 询问之前实习中Agent的设计思路，以及所提创新方法的实现方式。6. 提及使用DeepSpeed开展SFT训练，请说明DeepSpeed ZeRO Stage 1 - 3的不同之处，以及何种情况下使用FSDP更为合适。7. 询问Agent工具的设计情况，是否采用workflow形式。8. 了解哪些Agent开发框架，像langchain和LlamaIndex，它们的核心应用场景有何区别？9. 针对数据输入输出格式，为保证大模型输出稳定json格式，采取了哪些措施？10. 若Agent推理API需要低延迟响应，会从哪些方面开展系统级优化工作？11. 代码考察：给出LeetCode第34题，在排序数组中查找元素的第一个和最后一个位置

1. Qwen 与传统的Transformer模型相比，有什么结构上的改进？2. RMSNorm相较于LayerNorm有什么优势？公式是什么？3. SwiGLU的公式是什么？4. GRPO的公式是什么，这样做为什么更好？5. KL散度的公式是什么，为什么要用KL散度？6. LLM的损失函数是什么？给你一个10w的词表，计算出事的损失值7. GRPO为什么要做clip，直接用SFT后的模型还会不稳定吗？优势度可以怎样改进？8. 为什么你要用GRPO？GPRO结果比之前好多少？显存开销多大？训练一个Step需要多久？奖励函数如何设置的，为什么？有没有想过为什么一开始Reward出现大幅度震荡？GRPO是否一定有效，还有什么解决方法？9. Post-Training 的工作机制，为什么要做三阶段训练？什么情况下应该用GRPO？为什么DeepSeek用了GRPO？如何从V3到R1？10. 微调是如何进行微调的？为什么LoRA能够work？除了LoRA外，还了解哪些微调方法？11. 后训练用的哪个框架？你用过什么框架？如何使用deepspeed进行分布式训练？脚本是你自己写的吗？12. 知道什么Linux命令？13. 用过C++，Java吗？平时用什么多?14. 如何去评价你工作的产出和质量15. FLUX的工作原理，LoRA在这个地方起到了什么作用？

1.如果训练出来的模型在某一类任务上表现比较差，如何解决这个问题？2.如果DPO训练的过程中发现loss不降，如何定位原因？从数据构造和训练参数两个角度分析。3.有没有尝试过动态prompt，训练数据如何构造，如何保证policy正确？4.如果想把判别式任务转化成生成式任务，学术界有哪些常用方法，哪一种效果比较好有对比过吗？5.数据的难度分层是如何做的，为什么没使用困惑度？6.如何确保分层的准确性，用大模型进行分层为什么没有尝试更大的模型？7.做CPT时的数据量级，数据处理的pipeline？8.CPT的数据配比是什么样的，有没有考虑CPT后通用能力的退化问题？如何检验CPT后模型的通用能力？手撕：1、寻找重复数（转化成环形链表找入口来求解）2、手撕对比学习的loss计算3、手撕多头注意力

1.八股：大模型框架了解哪些，介绍下vllm原理2.八股：常用的LLM，讲解DeepSeek R1的训练流程和基本原理。3.八股：讲讲MOE架构和Dense架构差异，在训练和推理方面4.项目：介绍实习项目，项目中有没有做微调？5.项目：DPO，PPO和GRPO的区别6.项目：为什么PPO要用value baseline和GAE？它们如何让训练更稳定？7.项目：为什么GRPO在训练MOE时会出问题？原因是啥，怎么改进策略8.项目：GRPO的KL散度是什么？KL散度中超参数如何设计？9.项目：阐述大模型的幻觉现象及抑制方法。10.代码题：lc300 最长递增子序列

八股文: 1.为什么图像要划分 patch，对应物理含义，对比联系 nlp 文本2.不同 loss 应用任务场景，解释 loss 怎么算3.lora 原理，初始化，为什么，对比 sft4.图像分割任务数据少，不同场景数量不均衡怎么解决，过拟合欠拟合，怎么解决，除了加数据呢，除了改loss 呢(还说了数据增强)5.训练网络过程的一些优化6.batchnorm和layernorm 区别，为什么用，在哪里用7.attention 及其变体原理，cross attention 的 qkv 来自哪里8.其他的记不太起来了，都是基于简历和组内业务的延伸好像，总结来说都不难，简历拷打内容:1.自述最得意的 paper 和实习*1，你觉得你做得最好的一点在哪里,2.期间穿插模块细节询问，实现手段，觉得有什么问题，怎么改进，3.询问自己做的一个小 demo，各个模块设置的动机，然后开始压力我

1.实习介绍2.实习项目介绍。为什么要多阶段?一阶段不行吗?多阶段能够解决什么问题?3.SFT的效果会不会比较好?4.介绍-下clip5.为什么要生成语义ID?为什么不直接用emb6.扩散模型和序列模型有什么区别7.介绍一下LN和BN.，两者的使用场景有什么不同8.讲讲ESMM模型，提出的背景，损失函数的设计9.损失函数中CTRCVR CTCVR 哪个更重要a.我说了CVR比较稀疏，可能不会参与太多的优化10.讲讲怎么缓解跷跷板现象11.详细讲讲GradNorm12.讲讲dropout的作用13.知道SVM吗14.讲讲交叉熵和KL散度15.AUC的物理意义是什么16.讲讲随机森林17.详细讲讲L1和L2正则化18.知道因果推理吗?19.手撕:最长递增子序列的个数。如[1.3.5.4.7]，最长递增子序列是[1.3.5.7]和[1.3.4.7]，所以结果是2。如[2.2.2.2.2]，结果是5

1.生成模型用的什么，为什么这样选型，有没有对比过其他模型2.介绍检索做的优化，具体追问子问题分解怎么做，有没有做意图识别3.RAG怎么评估，指标有哪些4.介绍RAG项目5.怎么构建SFT数据集，数据量多少，微调方式是什么6.SFT数据问题不够多样化怎么办7.介绍一下function calling和MCP8.反问环节

1.介绍第一个项目2.为什么选择对embedding维度进行降维?以及是如何进行降维的?3.有没有考虑加入更多的特征?4.手撕 attention5.Attention结果为什么最后需要接一个全连接层再进行输出，作用是什么?6.如果改成多头注意力怎么修改?7.第二个项目的拷问8.了解目前工业届的召回方法吗?9.双塔召回和 embedding召回有区别吗?10.介绍一下你知道的排序模型11.负迁移和跷跷板问题如何解决?12.对梯度进行干预的话和给不同任务的loss分配不同权重有区别吗?13.神经网络权重初始化为0的问题?14.Dropout层以p概率失活，在进行测试的时候如何修正?15.除了前面这些排序模型，还了解其他最新的吗?16.新用户和新物品的冷启动问题?

1.实习介绍2.SFT中数据是怎么构造的  cot是怎么写的3.Cot的组成4.Transformer的架构介绍一下，self attention和cross attention的区别5.为什么大模型使用的是encoder6.PPO与DPO的区别7.PPO里用了几个模型，训练时更新哪个模型8.Python深拷贝与浅拷贝9.代码：子集问题

1．实习介绍2．SFT的 prompt 模板3．大模型 SFT 过程中自己有没有什么总结出来的经验4．应用场景是什么，有什么意义5.如何看待目前大语言模型都是 decoder - only 结构6．encoder - only 和 decoder - only 的对比，纯理解场景哪更优7．描述一下典型的 encoder - only 如 Bert 的结构细节8．多层堆叠时如何避免梯度消失和梯度爆炸9．DPO和 PPO10.代码题：lc75，颜色分类