网易大模型算法实习一面 1h

📍面试公司：蔚来🕐面试时间：2026.03.16💻面试岗位：大语言模型强化学习算法实习生❓面试问题：自我介绍项目经历1，拷打项目动机，方法细节，评测方式，遇到的难点和解决方式，提出的方法为什么有效强化学习算法理论基础，介绍PPO算法，算法计算公式，优点，训练流程，介绍GRPO算法，特点，优势有关强化学习算法的代码库，TRL，VERL，Ray等询问对于Agentic RL 的认识，其中可能存在的难点，答了算法侧的稀疏奖励问题和工程实现上各类工具的稳定性编程题，word1->word2的最小操作次数🙌面试感想：自我介绍吟唱时间太长，适当压缩为教育背景，研究背景，项目/实习经历的简单介...

发点面经攒攒人品～八股1.写一下 attention 公式2.训练时为什么要mask，推理时也需要吗？两处有什么区别？推理时的sequence length和训练时一样吗3.transformer和传统seq2seq模型有什么区别？4.计算attention时为什么要除以d_k，这个d_k的含义是？5.attention计算时还有哪些scale处理？6.attention中softmax函数作用、公式、为什么有减去最大值的处理？换个函数还能这样处理吗？7.解释数值上溢、下溢问题8.讲一下prompt书写的经验，如何判断prompt是否达标，如何改进prompt9.讲一下SFT，会对哪部分计算loss？为什么？10.讲一下deepspeed11.训练用一个7b模型要占用多少显存？不同zero阶段能够节省多少显存？12.训练模型时用了几张卡，有遇到什么异常中断问题吗？

1、LoRA 微调的原理LoRA 的核心思想是不直接更新预训练模型里的原始大权重，而是在某些线性层旁边增加一个低秩更新分支，用低秩矩阵去近似权重增量。假设原始权重是 W∈Rd×k，全量微调时直接学习ΔW，LoRA 则把它写成：ΔW=BA其中A∈Rr×k，B∈Rd×r ,，(r) 是远小于 (d) 和 (k) 的秩。这样前向计算就变成：h=Wx+ΔWx=Wx+BAx实际里通常还会加缩放项：这样做的本质是认为很多下游任务对大模型权重的更新其实存在低秩结构，不需要真的去学习一个完整的大矩阵。LoRA 的优点是可训练参数少、显存占用低、训练快，而且原模型参数冻结，方便多任务切换和权重管理。2、LoRA...

零实习，没什么经验，其实很怕，不敢面，但是其他厂都不捞我的，只能硬着头皮面了。感觉最主要还是项目不熟悉的问题，追问一下就只能沉默表示不知道说什么。八股勉强还能把基础的答出来，算法也是入门的水平。感觉自己面试时说话都不利索，有些内容说着说着自己都觉得没讲明白，只好最后来个总结句期望面试官能听懂我在说什么。感觉三回都是差不多的问题。后面有点不知道怎么办，字节HR在ssob上确实很热情，但感觉是kpi，其他的话，没面过，希望最近有笔试的几家能捞我去面面。不过话说回来可能还是要沉淀？但这学期又过得挺快的。