网易互娱 AI 算法一面

网易互娱 NLP 吧，没写代码，纯纯项目八股，喉咙冒烟。
1.自我介绍
2.蚂蚁实习
问了一下项目的联邦学习 梯度攻击思路
用了哪些 peft 微调？介绍一下
有没有了解过 Qlora？他具体是怎么量化的？（不太清楚）
3.商汤实习
除了 sft 还用过什么对齐手段吗？
PPO 和 DPO 的区别讲一下？了解新的一些 RLHF 吗？KTO 啥的。（不太了解了）
线上模型是怎么评测的？涉及到人工你们是怎么做的？
4.八股
transformer 的位置编码是怎么样的形式？
还了解哪些新的位置编码？
能介绍一下 self attention 吗？
为什么要除以根号 dk？
MHA MQA GQA 了解吗？讲一下
你知道 transformer 原始的 FFN 是什么结构吗？
你知道 transformer 的 Norm 怎么做的吗？
现在大模型一般用什么 Norm？

反问
还有很多忘记了，反正就纯聊