发一下问题给大家参考，攒攒人品！1. 项目相关的访存优化问题2. 算子融合的实现难点3. 负载均衡问题4. 如何判断优化是否到瓶颈了5. 常见量化策略

祝大家都能拿到满意的Offer！1.实习介绍2.对岗位的理解3.Qwen模型占了多少内存，在上一段实习中如何部署的4.介绍模型量化和Flash attention，实际优化效果如何5.介绍Tensorrt，底层方面如何加速6.是否了解vllm框架，追问PagedAttention7.介绍实验室项目，模型参数量计算量怎么算的8.Pytorch核心的基础功能是什么，有试过Pytorch对GPU进行管理吗9.模型训练和推理在资源、消耗上的区别，是否了解模型训练过程中性能优化的手段10.GPU和CUDA有了解吗，GPU基础的物理执行单元是什么11.手撕力扣hot100：将有序数组转化为二叉搜索树

给我面没招了，觉得自己好菜...1. 先问fp42. 量化的矩阵乘维度3. 先问硬件怎么做量化的。4. 量化的硬件需要啥5. 问了一些gpu的问题。6. 怎么分析系统瓶颈。7. 问了flash attn。7.1 有什么用？7.2 矩阵维度推导。7.3 k包不包含q的那个17.4 多头多batch怎么并行

继续来分享下之前的面经~欢迎友好讨论，信息共享1.项目拷打2.大模型推理加速办法3.压缩量化方法有哪些 量化的优点有哪些4.权重量化、激活值量化、kv cache量化都有什么好处5.kv cache原理 了解page attention吗 为什么效果好6.了解prefix cache吗7.ai应用（agent）的构建大致讲一下包含哪些模块8.手撕 一个环有10个点0-9，0开始出发，每步顺时针或逆时针走一个点，求经过n步回到0点有多少种不同走法