某AI初创公司大模型算法面经

1️⃣ 实习介绍
2️⃣ 被问了很多RM相关的基础知识：
1. RM的训练loss function
2. margin的作用
3. RM训练初始化时的loss值一般是多少，为什么
4. 为什么有时会出现经过训练的RM，loss又变大的情况
5. 现在有哪些新的RM范式，了解哪些GRM
3️⃣ 我的实习工作具体做了什么，解决了什么问题，为什么不直接xxxx，如果把其中的某个部分修改会怎样
4️⃣ 大模型数据相关（和我上一段实习经历相关）
1. 什么是好的SFT数据，如何评价质量
2. 什么是好的RL数据，如何评价质量
5️⃣ 问了一些本科专业相关的基础知识
1. RSA算法是什么，对称加密和非对称加密
2. IPv4和IPv6的区别
3. TCP是什么，解决了什么问题
4. UDP和TCP的区别
6️⃣ 大模型基础知识
1. 介绍一下Adam，一阶动量、二阶动量怎么计算的，最后参数如何更新的
2. DeepSpeed ZeRO-0 / 1 / 2 / 3
3. Data parallel、Tensor parallel、Pipeline parallel
4. AllReduce怎么算
5. 加载/训练LLM时，一般用什么数据类型；fp16和bf16有什么区别