美团搜索推荐算法面经

1.项目介绍2.wide&deep 的wide侧和deep侧各自作用3.一般wide侧和deep侧用哪些模型4.DIN的机制5.DIN的attention和transformer一样吗，怎么计算的6.项目数据量多少，各个目标分别正样本有多少7.数据处理部分详细讲8.用户历史行为序列如何构建9.模型在遇到正负样本悬殊的时候会遇到什么样的问题，怎么解决手撕：1.快排，讲解时间复杂度，什么时候最差2.两种方法做 最长有效括号（dp，栈）

1. 手撕 合并区间2. 八股1）请介绍 Transformer 的结构组成及各部分作用，在长序列时空数据中，2）如何降低 Transformer 的计算复杂度？常见的稀疏注意力变体有哪些？3）GNN的消息传递机制是怎样的？在时空图中，如何结合时间信息编码节点特征？你接触过哪些时空 GNN 模型？4）LoRA微调的原理是什么？秩 r 的选择会对模型表现产生什么影响？5）RAG的完整流程，在时空出行数据场景里，构建向量检索库时如何处理时间衰减对召回的影响？6）强化学习在 Agent 优化中的应用，结合出行推荐 Agent，你会如何设计 Reward 函数？3. 项目1）微调时的训练数据是怎么构建的？如何保证样本多样性和质量？2）在 RAG+时空知识图谱的 Agent 系统中，知识图谱更新的机制是怎样的？是怎样保证实时性的？3）在大规模轨迹数据下是怎么做负采样（Negative Sampling）的？4）训练 LoRA 模型时，你是如何选择冻结层的？依据是什么？5）在高并发查询 Agent 系统中，你会如何优化召回和生成阶段的延迟？4. 开放题1）大规模 Agent 系统在多线程/多进程场景下的资源调度策略如何设计？2）如果你要在 GPU 资源有限的条件下同时提供推理和微调服务，如何做资源分配和任务调度以保证时延和吞吐？

1.实习介绍2.简历拷打3.除了MMOE还用过其他的方案吗？cgc或者ple有尝试过吗？4.如何解决mmoe输出特征一样，专家的参数最终会趋于一致的现象？在网络参数随机初始化的情况下，不会发生问题中提到的问题。核心原因在于数据存在multi-view，只要每一个expert网络参数初始化是不一样的，就会导致每一个expert学到数据中不同的view。5.多任务loss调整中回归损失会主导训练任务是怎么处理的？在我的场景中是采用包序累积多分类替代了回归，也可以通过映射label上界或者禁止回传的方法，都试过。6.transformer的参数量是多少？层数（L）：Encoder/Decoder 的堆叠层数注意力头数（H）：多头注意力 的并行任务数隐藏层大小（D）：特征向量的维度序列长度（T）：输入/输出的最大 token 数 公式：总参数量 ≈ L×(4D^2+2D×H×T)7.介绍一下encoder和decoder？Encoder（编码器）作用：将输入序列（如文本）转换为上下文相关的表示向量。Decoder（解码器）作用：根据编码器输出生成目标序列（如翻译或回答）。8.在你场景中用的是二阶段的训练如何调整成一阶段的？代码 给一个整数数组a，对a中的相邻整数进行浮点除法，如a=[2,3,4]，即为2/3/4 在任意位置添加任意数目的括号，来改变算数的优先级，使得值最大，输出表达式

1．项目介绍2．讲讲你对 transformer 的了解3．有哪些常用的解码策略， topp 和 topk 的具体细节，以及实现上的差别4. 意图分流的 agent 怎么做微调的，用了多少数据5.如何做 embedding 微调的，如何构造正负样例，训练的 loss 是什么6.RAG有哪些可优化的地方7．你的 RAG 项目中用到了 agent 吗，一般 agent 会用在RAG 链路中的哪些部分8．做 sft 时是怎么做数据配比的，参数具体怎么设置的9.RLHF的流程，有没有训过 PPO10. deepseed 的原理，zero1,2,3怎么做的11.了解过排序模型吗，讲几个经典的排序模型吧12．说一下 vllm 部署8*7B的 MOE 模型每秒大概能推多少token13．对比学习了解吗，讲一下（比较突然，不知道为啥要问）14.code :实现rand5到rand7