攒攒人品！有面试过同岗的朋友欢迎评论区交流1.rope应该加在哪里2.kvcache怎么加3.dropout在哪4.mask怎么加5.实验室项目怎么做的，还可以和什么baseline对比6.业务场景题:针对业务需求怎么构建数据集7.手撕mha

攒人品中！ 1.dpo 和 sft 的区别，先 dpo 后 sft 可以么2.如果把 DPO 用在“第一轮对话”，你会怎么做数据集？prompt、3.chosen/rejected 你打算怎么来4.多轮对话的数据分布你会怎么设计：单轮和多轮各占多少，为什么这么配5.具体到 DPO 数据，多轮样本你会怎么采样/怎么配比6，reward hacking 你怎么看？一般怎么防，怎么兜底

祝大家都能拿到满意的Offer！1. 项目拷打2. 详细阐述Transformer的底层原理，并说明其能够替代RNN的核心优势；结合Transformer架构的成熟度，分析Self-Attention机制在多模态对齐任务中是否存在瓶颈，以及在实际业务场景中，是否出现过注意力权重完全偏移的情况。3. 讲解LoRA的技术原理，说明LoRA是否仅能嵌入Linear层；分析LoRA无法在LayerNorm层之后插入的原因，以及该操作会对模型训练稳定性产生哪些具体影响。4. 结合实操经验，说明QLoRA降低训练资源成本的核心逻辑；列举常见的模型量化方式，并解释QLoRA选择NF4与FP16组合而非其他方案的原因，阐述NF4的分布拟合逻辑。5. 针对采用multi-query attention优化后，decoder延迟仍居高不下的问题，分析潜在性能瓶颈；探讨vLLM自带的KV Cache是否会成为推理过程中的负担。6. 分别说明Embedding模型与Rerank模型处理文本语料的核心流程，并结合实际应用场景举例说明。7. 结合过往RAG项目经验，讲解从数据清洗到检索服务上线的完整链路搭建流程，重点说明chunk切分的具体策略。8. 分析当前RAG技术落地的最大瓶颈，并阐述你在项目中采取过哪些优化手段来提升检索召回率（Recall）。9. 针对XX领域大模型的训练工作，说明SFT（监督微调）数据集的构造方法与核心思路。10. 结合LoRA微调实操经历，说明rank值的选择依据；在合并adapter权重的过程中，是否遇到过梯度爆炸问题，以及对应的解决方法。11. 结合你的模型部署相关经验，说明模型参数量与硬件算力需求之间的对应关系（例如不同参数量级模型所需的算力配置标准）；以部署一个稀疏率千分之三的235B参数量MOE架构模型为例，估算其所需的算力规模。12. 在搭建RAG知识库时，若需对文档进行动态更新，你采用的是全量嵌入还是增量处理方案？若为增量处理，如何规避新旧文档数据分布不一致导致的检索偏差问题。13. 针对机械臂动作态融合相关工作，说明数据融合的具体实现方案，以及对比实验的设计思路与评估指标。

继续来分享下之前的面经~欢迎友好讨论，信息共享1. 项目深挖2. 给出代码找4个编译错误（考察 const 的作用范围）3. 动态链接库依赖顺序4. 四种Cast详解：static_cast, dynamic_cast, const_cast, reinterpret_cast 的区别与底层含义5. 给出CUDA Kernel代码，识别功能6. 手撕：计算平面上两个任意角度矩形（不平行于坐标轴）的重叠面积

面试很难，还是要多多练习...1.GSPO相对于GRPO最大的区别是什么?2.LoRA在初始化的时候，有什么特殊设定?3.LoRA实际训练时，base模型的参数是固定不变的吗?4.LoRA中A和B都设置成0可以吗?5.LoRA中A和B都设置成0时，求梯度的时候一直都是0吗?手撕6.给定一个数组，求其中逆序对的个数。7.给定一个包含正数和负数的数组，求其中连续子数组的最大乘积。

1.主流的开源大模型结构有哪些？2.介绍一下layernorm和batchnorm的区别？3.在机器学习里，怎么处理长尾数据和多峰数据？4.怎么解决模型的冷启动问题，你觉得LLM在冷启动方面能够起到什么作用？5.介绍一下常见的优化算法优缺点6.为什么Adam不一定最优而SGD最优的？怎么理解分析？7.你工作里的对比损失是怎么构造的，有什么作用？介绍常见的对比损失的公式。代码题：数组第K大。给定整数数组 nums 和整数 k，请返回数组中第 k 个最大的元素。

1.了解搜索推荐相关内容吗2.例子库的创建流程3.query改写用了什么模型 为什么不用大模型4.三路召回如何做的5.为什么还要多模型做微调 数据量是多少6.deepspeed了解么如何做的7.ragas评估指标 评估流程 数据如何获取8.线上评估指标数据如何构造9.agent表格数据如何增强的 数据量是多少10.多 agent如何如何做的协作11.如何提取复杂表格信息12.如何做的 sql安全检查 检测率为多少13.上线了吗 线上如何评估 使用量是多少14.r1模型有了解么 说一下流程15.grpo算法说一下 ppo和dpo16.算法题:求根号下的数(二分)

文远谁拿到了offer吗，还是现在都在面试呢？过了二面进度不动了，要挂不挂，要推进不推进的难受住了