百度内推百度校招内推百度内推码

被横向挂了，希望发出来对大家有帮助！1.实习拷打2.介绍项目3.chunk怎么切的4.数据集的处理5.训练参数设置6.lora的原理7.为什么主流大模型都是decoder，而不用encoder8.为什么带think的推理模型，输出会更准确？9.手撕：按要求切割一段话

投递了很多，给面的比想象中少非常多，第一周就三个面试，感觉有还比较KPI，整体没有什么意思，希望下周可以好一点京东（约的最后一个面试，感觉之前面试已经有人选了）1：拷打实验室项目2：拷打百度项目3：如何执行动态代码的（Java）4：场景题，给你两个机器，进行负载均衡，一个60%，一个40%，如何操作半个多小时结束，无算法，后续显示流程挂（10-20）亿规模量化1：为什么选择量化2：找工作看重什么3：实习过程中怎么协调的4：你最有成就感的事情第一次投量化，面的第一个量化公司，下周还有一个规模大一点量化的面试。这周这个公司比较奇怪，笔试完先hr面再技术面，星期五好像打电话过来，然后被我手机当作骚扰...

给我面没招了，感觉自己好菜、面试很难，还是要多多练习1.项目拷打2.你的知识库数据是如何清洗和构造的？如果数据质量参差不齐会对 RAG 系统产生哪些影响？3.文档切分策略是如何设计的？chunk size 和 overlap 会如何影响召回质量和生成效果？4.如果用户的问题在知识库中确实存在，但系统经常没有召回正确文档，你会如何排查？5.如果检索到的文档是正确的，但模型最终生成的答案仍然是错误的，你会如何定位问题？6.实际系统中，如果召回结果经常语义相似但事实不相关，你会如何优化检索模块？7.如果一个问题需要跨多个文档的信息才能回答，你的 RAG 系统如何处理这种情况？8.在 RAG 系统中如何判断问题出在检索模块还是生成模块？9.请详细说明 Transformer 从输入 token 到输出 logits 的完整计算流程。10.FFN 层为什么采用“先升维再降维”的结构，这种设计对模型表达能力有什么作用？11.MHA、MQA、GQA 在推理阶段的 KV Cache 占用和计算效率上有什么差异？12.为什么推理阶段 KV Cache 只缓存 K 和 V，而不缓存 Q？13.RoPE 的核心原理是什么，它在长上下文场景下会遇到什么问题？14.instruction tuning 中多轮对话数据训练时，loss mask 应该如何设计？15.如果 SFT 之后模型在特定任务上能力增强，但通用能力明显下降，你会如何解决？16.LoRA 的低秩分解为什么能够逼近全参数微调的效果？17.如果 LoRA 的 rank 设置不合理，在模型表现上会出现什么现象？18.DPO 训练后模型输出明显变长，在实际系统中你会如何处理？19.如果对齐之后模型变得过于保守，经常拒绝回答，你会如何调整训练策略？20.大模型出现复读机现象通常由哪些因素导致？

1. 介绍一下你做的这个项目2. LoRA 的基本原理是什么LoRA 的核心思路是，微调大模型时没有必要把整个权重矩阵都更新掉，而是只学习一个低秩的增量。原始权重记作 (W)，微调后的权重写成：其中 (A) 和 (B) 的秩都很低，参数量远小于直接更新整个 (W)。训练时冻结原模型参数，只训练这两个小矩阵，这样显存占用、优化器状态和保存体积都会小很多。它适合做领域适配、指令微调这类任务，因为很多任务对模型的改动并不需要覆盖完整参数空间。LoRA 常见会插在 attention 的 q_proj、v_proj 上，有时也会加在 k_proj、o_proj 或 MLP 层。选哪些层，本质上是在表达...