字节tiktok shop三面询问

1.项目介绍2.Qwen- VL 的训练流程是怎样的3.讲一下大模型的训练流程，多模态大模型的视觉特征传递给 LLM 都有哪些方法4.ViT 一般怎么预训练5.多模态 RAG 介绍一下6.对于不同形状的图片或视频，位置编码怎么设计7.在 ResNet 或者 Transformer 中，残差连接的作用是什么，展开讲讲8.开放题：大模型在训练和推理的时候显存不够，有哪些优化方法9.代码：215．数组中的第 K 个最大元素

1.八股：请介绍一下Transformer的核心组件及其作用2.八股：介绍LLM Decoder-Only架构3.八股：你对SFT的理解是什么？与预训练相比有什么差异？4.项目：SFT冷启动时数据集构造需要注意哪些因素？为什么要做数据清洗与均衡采样？5.项目：介绍一下RAG的整体流程。在Agent落地场景中，RAG会遇到哪些延迟和正确率问题？你怎么优化召回链路？6.项目：在你的问答Agent项目中，数据集构造的自动化流程是怎么实现的？7.项目：你是如何利用多Agent协同来提高推理正确率的？调度策略如何实现？8.项目：你提到用DeepSpeed做SFT训练，请讲一下DeepSpeed ZeRO Stage 1-3的区别，以及什么时候用FSDP会更好？9.项目：你做Prompt优化时，是如何判断优化后的Prompt在Agent推理链路中性能提升的？用什么指标来衡量？10.项目：在多Agent系统中，如何保证异步任务执行的稳定性和结果一致性？11.项目：如果Agent推理API需要低延迟响应，你会从哪些方面做系统级优化？12.代码题：lc34 在排序数组中查找元素的第一个和最后一个位置

阿里淘闪（饿了么）：n*16，职级p5，hr说是sp，但感觉比其他厂的sp低了不少，业务属于物流配送的核心算法。优点是比较稳定，由于是实习转正的，所以landing相对容易一些；缺点是外卖/闪购业务处于存量阶段，业务很难拿到比较正向的指标，组内技术迭代非常少，论文产出极为贫瘠。百度萝卜：（n+2）*16，职级t3，普通sp，萝卜快跑的调度算法。优点是和本人的科研方向极其契合，且业务处于上升期，容易拿到正向指标。缺点是百度的稳定性存疑，最近也在大裁员中，担心被裁应届，且百度的风评比较一般（起大早赶晚集的典范）。两者作息基本类似，且base地都在北京。恳请各位大佬给些建议，感谢！

1.八股：LoRA 和全参数微调的核心区别是什么？在显存和训练效率上各有什么优劣？2.八股：DPO、PPO、GRPO 三者的优化目标有何不同？为什么 GRPO 的 loss 中要显式加入 KL 散度项？3.八股：Transformer Encoder 中 FFN 的作用是什么？4.八股：什么是 DeepSeek 的 MLA？它的优势是什么？5.项目: 你在实习中用 LoRA 微调了哪个开源大模型？具体 rank、alpha、dropout 是多少？为什么这样设置？6.项目：SFT和DPO 数据是否有重叠？DPO 的偏好数据是如何构造的？人工标注成本大概多少？7.项目：你们的 RAG 系统召回阶段用了 BGE-M3 还是 BM25？最终选择依据是什么指标（如 Recall@k）？BGE-M3 输出向量维度是多少？8.项目：为什么不用纯向量相似度直接生成答案，而要再过一遍大模型？这样做对幻觉和安全性有什么帮助？9.手撕：接雨水（LeetCode 42）