百度 AI infra面经 好难

给我面没招了，感觉自己好菜、面试很难，还是要多多练习，感觉自己说不明白业务逻辑1.说一下vllm里schedule的过程；2.说一下vllm请求被抢占后续会怎么样；3.说一下投机采样推理时草稿模型和主模型交互流程，vllm和sglang中的实现有什么区别；4.说一下gptq量化、smooth quant原理；5.介绍一下DeepSeek V3 eplb推理；6.mla在prefill和decode时的计算复杂度区别，听说过mla矩阵吸收优化吗；7.dsv3.2有什么创新点；8.sglang里多模态如果开了tp，vit的image embedding在多个进程里是怎么高效复用的

1、知道 GPT 和 BERT 这种模型的基础框架是怎样的吗BERT 和 GPT 都是基于 Transformer 的预训练模型，但结构和任务目标不一样。BERT 一般采用 Transformer Encoder 堆叠起来的双向编码结构，在预训练时主要做 MLM，也就是随机遮盖一部分 token，让模型根据上下文去恢复被遮掉的词，因此它更适合理解类任务，比如分类、匹配、抽取、检索表示学习。GPT 采用 Transformer Decoder 堆叠起来的单向自回归结构，在预训练时做 next token prediction，也就是根据前面的 token 预测下一个 token，因此它更适合生成...

算法题： 1- 快排，寻找两个正序数组的中位数，下一个排列，二叉树中的最大路径和，Path Sum III2- 给定若干点的数轴坐标数组和固定数量的等长线段，问该线段最少要多长才能覆盖所有点3- 前k个高频字符串，词频一样时按字典序升序排列4- 给定初始字符串s，每次将字符串向右旋转一次，并将旋转后的字符串拼接到原字符串的末尾，每次操作都会使字符串的长度变为原来的两倍，求计算出无限扩展后的字符串中第 N个位置的字符5- 两根手指放在26个小写字母组成的键盘上，最少移动多少距离才能敲出给定的字符串sorch手撕题：MHA * 3，Flash Attention v1，flow matching model采样的伪代码ai infra或算法八股：1- flow matching模型预测的是什么，怎么理解conditional velocity (conditioned on data sample x0)2- 如何计算QwenImage的time shift3- 介绍Flash Attention的原理和实现思路4- GPU matrix transpose使用shared memory的好处5- CPU按列遍历一个行优先的矩阵相比按行遍历为什么性能会变差，具体是因为哪个性能指标变差导致的6- weight-only量化有哪些，实现weight-only量化cuda kernel时如何优化访存，是否了解Marlin kernel7- Megatron SP的实现方式8- DeepSpeed ZeRO stage1和stage 2的通信量区别，论文和代码实现有没有gap9- 多GPU通信时NVSHMEM和NVLink的区别

1. 自我介绍您好，我叫[姓名]，[学历]毕业于[学校][专业]。我有[X年]嵌入式开发经验，主要从事基于ARM Cortex-M系列微控制器的产品开发。在技术方面，我熟悉C/C++编程，掌握RTOS（如FreeRTOS）的应用，熟悉常用外设驱动开发（UART、SPI、I2C、ADC、PWM等）。项目经验包括[具体项目1]和[具体项目2]，在这些项目中我负责[具体职责]，解决了[具体问题]。我对嵌入式系统有浓厚兴趣，平时会关注行业新技术，也会通过开源项目和技术社区持续学习。希望能加入贵公司，在嵌入式领域继续深耕发展。2. 进程和线程的区别定义：进程：系统资源分配的基本单位，拥有独立的地址空间线...