攒人品中！ 1.项目拷打2.解释全局解释器锁gil3.python不同进程之间是如何通信的ipc4.all-reduce通信开销及具体是怎么计算的5.了解tensor.view和tensor.contiguous吗6.张量并行先列切和先行切区别7.手撕代码:1)数值的整数次方2)graphfusion

1.双方自我介绍2.围绕项目提问，这里记一下通用问题项目开展的流程，你在其中负责哪些？用的什么推理框架？FP8 KV Cache是怎么设置的？FP8量化在prefill阶段有多少性能收益？profile用的什么工具，怎么定位性能瓶颈？还有些想不起来了，回忆起来再补充。3.开放性提问你对GPU微架构和cuda了解吗？在sm没用满的情况增加矩阵乘法的大小，为什么延时会增长？除了compute/memory bound还有哪些类型的bound，怎么定位？4.代码题岛屿数量，模版题，但是写的很艰难。面试官帮我减掉了输入处理和队列的初始化，最后写完还有点小毛病5.反问环节问了下他们部分具体是什么方向的推理优化。视频/图片生成类模型重要吗

发些面经攒攒人品～～～1* FusedAttention优化怎么做的？2* 介绍一下FlashAttention3* FlashAttention数学推理公式4* RMSNorm为什么相比LayerNorm有提升？5* 现场想一个更灵活有效的显存分配方式cudaAllocator6* 整个Llama中有几个FC全连接层？7* Llama2的推理流程？每一层都有什么算子论文拷打C++：1* C++11的特性2* 智能指针3* unique_ptr 如何保证唯一性4* shared_ptr 何时析构5* 类的成员函数可以当模板吗6* 左值右值CUDA：1* CUDA有哪几种编程手段2* Tensor core 和 CUDA core的区别编程：1* 【LeetCode - 128】最长连续序列2* 【LeetCode - 340】至多包含 K 个不同字符的最长子串

继续来分享下之前的面经~欢迎友好讨论，信息共享1.项目拷打2.大模型推理加速办法3.压缩量化方法有哪些 量化的优点有哪些4.权重量化、激活值量化、kv cache量化都有什么好处5.kv cache原理 了解page attention吗 为什么效果好6.了解prefix cache吗7.ai应用（agent）的构建大致讲一下包含哪些模块8.手撕 一个环有10个点0-9，0开始出发，每步顺时针或逆时针走一个点，求经过n步回到0点有多少种不同走法