字节大模型二面面经（持续记录！！

面试的部门是字节seedlm
二面感觉面试官很和善

面试问题：
- transformer 的 decoder 和 llama 有啥区别，他们的位置编码有啥区别？ 三角函数位置编码和 ROPE 公式很像啊，他们是怎么实现不同的功能？（一个加 embedding 一个加 KQV，但是公式很像但是推理完全不一样吧，不太会答）
- 介绍一下RLHF流程，包括哪几步
- llm有哪些评估指标？如何评估模型？
- lora原理细节，为什么可以加速？什么是秩？
- reward bench上的reward model分哪几类？reward model如何训练的，训练目标是什么？
- dpo训练的损失函数和训练目标，dpo如何改进
代码题：
- 给定长度为 n+1 的数组 nums，其中元素取值范围为 [1, n]，求唯一的重复数。
- 手写多头注意力mha，写完后让加位置编码（因为之前写过了，继续吟唱）