滴滴NLP大模型凉经

项目和八股 1.grpo哪个阶段最耗时2.rollout采样3.使用过 verl 框架吗4.verl 框架为什么需要重新 forward 计算 log probs5.dapo 的几个创新- clip-higher- Dynamic Sampling- token级别优势计算6.大模型推理优化 答了deepspeed 等 不行 说这个是训练方面的- 推理主要分为两个阶段  prefill+decoder- 量化：用低精度比如int8保存 参数 激活值  KVcache- KVCache 量化（vllm也采取了pageAttention，将KV cache当成虚拟内存+页表 按照固定的page进行管理）- GQA- flash attention反问

虽然凉了，但是不妨碍我攒人品1.实习介绍2.工作经历中成长收获最大的点3.项目深挖：项目背景数据来源、数据格式、数据标注训练细节DPO数据如何构建4.八股：self-attention的时间复杂度GRPOGQADeepSeek技术报告中的MoE、MTP5.手撕：无序数组中找第 K大的数

压力强度都拉满了，一面大概75分钟1.自我介绍2.项目细节问答(太细了3.算法题:最长公共子序列4.然后开始基础编程八股，python的装饰5.python哪些库可以调用C++6.Node.js在返回时怎么指定数据类型(问nodejs我是没想到的)7.解释几种norm的区别 LN里面有哪些可学习的参数?

1，介绍RAG流程，分段有没有做优化；编码模型和重排模型用了什么；Qwen3系列和bge系列的原理，Qwen3系列编码模型是怎么训练的2，RAG怎么评估，用了哪些指标；RAGAS有哪些指标，为什么不直接用库3，Agent的思想是什么，Agent包含哪些部分；介绍DeepResearch；介绍Agent怎么做任务规划和问题分解4，SFT数据集怎么构建，问题不够多样化怎么解决5，介绍LoRA原理；LoRA分支怎么初始化，为什么这么做6，self-attention公式；为什么要scaling7，介绍KV Cache；vllm是怎么加速推理8，RLHF，介绍PPO，包含多少个模型；GRPO与PPO的区别；GRPO的缺点；介绍GSPO