字节大模型算法实习生-电商业务（已oc）

字节很喜欢深挖简历，通常不会直接问八卦，而是结合项目问，所以项目一定要吃透，用到的技术要理解的很深入，此外会有面试官结合他们的业务问一些场景问题，问如果是你你会怎么做等等。

一，二，三面都是这个模式，我把一些他们根据简历问的通用问题记录一下，供大家参考。

1.使用SFT进行微调时的训练数据是如何构造的，如果缺少训练数据有没有什么方法？

2.看你使用的是千问大模型，请问千问的模型结构，创新点是什么？

3.看到你在SFT的基础上使用了dpo来训练，为什么要使用dpo，sft不行吗？

4.sft解决不好的badcase，为啥dpo就能解决了？你认为sft适合解决那类问题？dpo又适合解决哪类问题？

5.dpo的损失函数是啥？他的缺点，相关的变种是啥？其变种对应的损失函数是啥？

6.训练好模型后如何评测？

7.说说对RAG的理解，一般工作流程是啥？

8.看到你使用了对比学习的InfoNCE损失函数，说说对他的理解，用代码实现一下

9.一般语义表征是使用bert来进行的，那如何训练大模型让他能进行语义表征？

10.场景题：有一个100分类的任务，如何判断属于哪个类？(每一类训练数据都缺少)

手撕题：

1.multi-head-attention

2.岛屿问题

3.数组中的第k大的数(堆，快排都可)