小红书大模型实习一面 30分钟不到...

总时长1h左右，整体感觉还不错项目：1.为什么要进行数据蒸馏？2.怎么保证蒸馏效果？3.微调用的什么框架？4.效果有跟其他的模型对比么？效果如何？5.Qwen-max调的什么API6.有做数据的分离么？有没有数据泄露？7.Qwen-8B微调有用精度么？有优化么？8.8B微调显存占用多少？9.模型前向计算占用的显存是多少？八股：1.了解Paged Attention么？为什么他能降显存？2.强化学习是什么？3.讲讲GRPO？4.讲讲KV Cache5.在推理的时候KV Cache为什么需要储存？手撕：二叉树中的最大路径和

感觉是项目经历太浅太少了，寒假沉淀沉淀年后再战吧...1. 实习介绍2. 项目深挖3. RAG的问题与改进方案4. 在不能修改模型的情况下，如何调整模型回复风格5. 为什么大模型有few-shot能力？讲一下few-shot能力的原理6. PPO、DPO、GRPO、DAPO等RL算法的原理和区别7. 平时是否使用vibe coding？对此有什么看法？8. 手撕代码：编辑距离，分析写法的时空复杂度，有什么更优的写法

1.如何训一个大模型，你们做的产品有用大模型吗？2.lora 是什么？初始化是什么？3.讲一下你们实验室横向，有做过目录解析吗？4.多模态的图表怎么做的理解？5.rag 的优化是什么？chunk 等超参数怎么设置的？有做 rerank 吗？

字节抖音风控部门大模型算法二面1.自我介绍2.手撕最长回文子序列3.讲讲pytorch与TensorFlow的区别4.分布式训练一般使用哪些pytorch函数5.讲讲pytorch的fsdp与deepspeed的zero区别6. 展开讲讲nccl的通信原语，例如gather、scatter之类的7.场景题：训练一个模型，一张卡放不下去怎么办，可以使用多张卡。如果使用zero3，既然一张卡存放不下模型训练时候参数，那么模型参数更新的时候是怎么做的，使用什么方式能够让单卡更新模型参数？8.讲讲dpo与kto的区别，ppo与grpo的区别9.介绍下项目10.简单讲讲你的论文11. 反问业务、几面、后续流程之类的