美团笔试

攒人品中！ 1.项目拷打2.解释全局解释器锁gil3.python不同进程之间是如何通信的ipc4.all-reduce通信开销及具体是怎么计算的5.了解tensor.view和tensor.contiguous吗6.张量并行先列切和先行切区别7.手撕代码:1)数值的整数次方2)graphfusion

1.双方自我介绍2.围绕项目提问，这里记一下通用问题项目开展的流程，你在其中负责哪些？用的什么推理框架？FP8 KV Cache是怎么设置的？FP8量化在prefill阶段有多少性能收益？profile用的什么工具，怎么定位性能瓶颈？还有些想不起来了，回忆起来再补充。3.开放性提问你对GPU微架构和cuda了解吗？在sm没用满的情况增加矩阵乘法的大小，为什么延时会增长？除了compute/memory bound还有哪些类型的bound，怎么定位？4.代码题岛屿数量，模版题，但是写的很艰难。面试官帮我减掉了输入处理和队列的初始化，最后写完还有点小毛病5.反问环节问了下他们部分具体是什么方向的推理优化。视频/图片生成类模型重要吗

继续来分享下之前的面经~欢迎友好讨论，信息共享1.项目拷打2.大模型推理加速办法3.压缩量化方法有哪些 量化的优点有哪些4.权重量化、激活值量化、kv cache量化都有什么好处5.kv cache原理 了解page attention吗 为什么效果好6.了解prefix cache吗7.ai应用（agent）的构建大致讲一下包含哪些模块8.手撕 一个环有10个点0-9，0开始出发，每步顺时针或逆时针走一个点，求经过n步回到0点有多少种不同走法

给我面没招了，感觉自己好菜、面试很难，还是要多多练习1.H100相比A100有哪些改进2.介绍下wrap这个概念3.DP、TP-SP的计算通信重叠原理，具体是什么通信和什么计算重叠4.flash-attention知识点深挖5.使用流水线并行和不使用PP并行，显存峰值一样吗6.CUDA_DEVICE_MAX_CONNECTIONS具体含义是什么7.launch bound是什么含义H2D和D2H可以重叠吗手撕代码:1)LRU2)online-softmax和flash-attn伪代码