百度——大模型夏令营二面

1.八股：NLP和LLM最大的区别是什么？两者有何共同和不同之处？2.八股：激活函数有了解吗，你知道哪些LLM常用的激活函数？为什么选用它？3.八股：开源框架了解过哪些？Qwen，Deepseek的论文是否有研读过，说一下其中的创新点主要体现在哪？4.项目：介绍微调负责的工作，大模型微调最重要的是什么？5.项目：SFT+DPO训练怎么组织这部分数据的？是自己构造还是用公开数据？6.项目：看你做过LoRA微调，那你是怎么选rank值？合并adapter权重的时候有没有遇到梯度爆炸？7.项目：说下LoRA的原理，LoRA是不是只能在Linear层插？为什么不能插在LayerNorm之后？这会对训练稳定性造成什么影响8.项目：刚才提到用过QLoRA，能具体说说QLoRA是怎么降低资源成本吗？9.项目：llm推理效率，如果真的部署到在线系统里，这个效率的问题怎么解决呢10.项目：有没有尝试过模型裁剪？比如 low-rank adaptor、LoRA 融合，或者用Mamba替换部分token path？11.代码题：实现Casual mask的MHA，说下计算复杂度

1、介绍自己的中厂实习2、一面的部分实习问题这里也问了。3、有没有试过外挂数据库来解决线上业务数据分布更新较快的问题，4、模型选型问题，为什么选qwen3-8b，如何估算模型开销。5、最多做过几卡的模型训练?对deepspeed和Megatron有多少了解?6、接触过哪些推理加速的方法。(vllm的page-attention, kv cache, prefix cachemla，flash-attention直接安排一套)7、一个他们组里面的一个具体场景题。8、手撕k个一组反转链表，并要求最后不足k个的也反转。

哥哥姐姐们，本鼠明年四月份的时候应该就有两段大厂java实习了，业务多多少少都跟ai沾点关系，暑期实习还是想冲一冲大模型应用岗。那我这两段后端实习对大模型岗是不是没什么帮助，现在转或许沉没成本太高了？

1.八股：Transformer底层原理，为啥能替代RNN2.八股：大模型预测token的损失是怎么算的？有哪几种常见的损失函数？3.项目：看你做过RAG，讲讲从数据清洗到检索服务上线这整个链路是怎么搭的，怎么做chunk切分的4.项目：你觉得当前RAG的最大瓶颈在哪？你做过哪些改进来提升Recall5.项目：传统RAG有什么痛点；介绍GraphRAG，GraphRAG的难点是什么；GraphRAG如何应对增量场景6.项目：RAG中知识库搭建，对知识库的文件文档进行动态增量更新，怎么来避免新旧文档的文单的分布不一致导致的这种检索偏差问题7.项目：RAG怎么评估，RAG评估体系中最重要的是什么8.项目：常见的量化方式有哪些，QLoRA为什么选的是NF4和FP16这组组合，而不是别的组合？你能说说NF4的分布拟合逻辑吗9.项目：模型部署相关，说下模型部署的参数量和需求硬件之间的关系10.项目：部署一个MOE架构的千分三的235b的一个模型，他所需要的算力大概是多少？11.代码题：lc54. 螺旋矩阵