字节懂车帝大模型日常实习面经（已oc版

1.实习介绍2.critique mode 怎么训练的，会不会存在 bias3.介绍下 RLHF 流程4.BN和 LN 的区别， BN 在训练阶段和推理阶段有何不同5.如果让你用 llm 做一个商品类目识别的项目，你会如何设计6.介绍下 transformer , attention 的细节和 mlp 的作用7.deepspeed的原理8.了解 dp 和 ddp ，介绍一下原理和异同9.在 nlu 任务上，你觉得 bert 和 llm 哪个效果会更好，为什么6.介绍下 RLHF 流程7. deepspeed 的原理8.了解 dp 和 ddp ，介绍一下原理和异同9.如果让你用 llm 做一个商品类目识别的项目，你会如何设计10.快排的思想，时间复杂度11.代码题: code ：手写一个多分类的公式，并用代码实现

1.你的 Agent 系统Prompt 是怎么设计和迭代的？有没有做过 Prompt 自动优化？当用户提出不完整的请求时，如何补全用户意图的？2.构建 Agent 的时候，遇到过哪些瓶颈？LangChain 的 memory 默认机制在多3.用户并发中怎么做隔离？你是如何保证线程安全的？4.微调 Llama2 你是怎么选择训练样本的？清洗逻辑是什么？你有没有观察到哪些训练样本质量问题对模型行为有很大影响？举例说明。5.DPO相比 SFT，有哪些优劣？它在 Agent 任务上效果提升明显吗？你怎么构造偏好对？构造逻辑是自动的还是人工？6.你说你服务部署在 vLLM 上，为何选择它？KV-cache 如何帮助推理加速？你自己做过哪些优化？7.假如需要支持 Streaming 输出，但当前服务延迟又超标，你会怎么折中设计？8.多轮对话上下文状态管理是如何做的？如何在高并发场景下保证一致性？9.你做的 Agent 使用了多少个外部工具，在调用链条上如何保障故障容错和超时机制？10.有没有做过工具调用失败后的feedback策略设计？11.训练过程中数据来自用户行为日志，你是如何从这些数据中抽取训练对话的？有没有做过归一化或事件抽象？12.有没有了解过带有时间窗口/偏移限制的对话系统？模型怎么“理解时间”？13.你觉得 Agent 哪些模块最容易在真实业务中出问题？你会如何监控和定位的？

荣耀面试已经结束有段时间了，综面时在等候区吃茶歇有多开心，现在等得就有多着急。之前开奖的小米和美团都秒拒了，总觉得薪资和技术方向都不太满意，想当初面试荣耀时流程顺畅，和面试官聊得也很开心，觉得一定是稳了！没想到当初拒得越轻松，后面等的就越狼狈。看到身边的同学都在陆续开奖，最近对来电简直是保持一级警戒。昨天早上一通地址为深圳的电话，还没睡醒就从床上弹射起来，清了清嗓子，接通！！“你好 这边有几套理财。。。”fine，还以为被荣耀oc偷袭。今天又收到深圳的来电，好家伙又是一个理财！逮着我一个人整是吧！等着等着秋招就只剩下耀子了，耀子快点给我来电啊！！