网易大模型算法实习一面 1h

1、LoRA 微调的原理LoRA 的核心思想是不直接更新预训练模型里的原始大权重，而是在某些线性层旁边增加一个低秩更新分支，用低秩矩阵去近似权重增量。假设原始权重是 W∈Rd×k，全量微调时直接学习ΔW，LoRA 则把它写成：ΔW=BA其中A∈Rr×k，B∈Rd×r ,，(r) 是远小于 (d) 和 (k) 的秩。这样前向计算就变成：h=Wx+ΔWx=Wx+BAx实际里通常还会加缩放项：这样做的本质是认为很多下游任务对大模型权重的更新其实存在低秩结构，不需要真的去学习一个完整的大矩阵。LoRA 的优点是可训练参数少、显存占用低、训练快，而且原模型参数冻结，方便多任务切换和权重管理。2、LoRA...

面试很难，还是要多多练习，感觉自己说不明白业务逻辑1.项目拷打2.实习经历介绍3.LoRa4.显卡资源如何，如何解决资源不足的问题5.效果如何测评6.有没有测常见的 benchmark7.详细介绍快手实习8.论文介绍9.DeepSpeed zero 策略10.除了 zero 外还有没有其他策略，也就是 offload 和 infinity11.batchnorm 和 layer norm 的区别，主要是 batchnorm 和 dropout12.model.train() 和 model.eval()的区别13.dropout 测试时如何使用的14.Coding1：买卖股票的最佳时机15.Coding2：字母异位词分组13.Coding3：盛最多水的容器

1、自我介绍2、讲一下你做过的一个最有代表性的项目3、RAG 里 chunk 怎么切，为什么这是个关键点chunk 切分会直接影响召回质量和最终回答质量。因为向量检索不是按整篇文档检，而是按切分后的片段检。如果切得太长，一个 chunk 里会混入很多无关信息，虽然语义覆盖大，但相似度不一定集中，模型拿到后也不容易抓住重点。如果切得太短，单个 chunk 虽然很纯，但上下文不完整，容易导致召回回来的内容缺少关键信息。实际做的时候一般会根据文档类型来定。像制度文档、说明文档，可以按标题、段落、语义边界切；如果是 FAQ 或问答对，本身就天然适合按条切。通常还会设置 overlap，避免一个关键信息...

单选+多选+编程3道第三道拼劲全力大爆0🐒有机会面吗