📍面试公司:快手🕐面试时间:25.08.17💻面试岗位:算法工程师❓面试问题:transformer的架构encoder和decoder的区别encoder block有哪些部分组成attention机制MHA工程上如何实现pre norm和post norm的区别pre norm的优势Pretrain的损失函数SFT的损失函数SFT是如何实现只计算output的损失RL中reward和 critic 的区别,各自是如何在工程里发挥作用的RAG中快速索引的优化方法有哪些用过哪些训练框架,是否有过多机多卡的训练经验是否遇到训练过程梯度爆炸,显存不足的问题?有哪些解决的trick手撕算法:伪码实现RAG🙌面试感想:上来直接问八股,有几个八股没答出来,面试官很年轻会给提醒,也不要求写算法题,直接让手撕个RAG思路。感觉面试官很看重基础和工程能力,没做过的话应该会聊露馅