高性能计算面经

1. 自我介绍2. 项目介绍3. 端侧部署大模型做的移植工作4. kv cache的管理5. 如何优化大模型的部署推理加速6. 推理框架的设计7. 计算图的设计8. 量化的原理9. 量化出现过大的误差该如何处理10. 量化算子是如何计算的，计算图会发生哪些变化聊了一下职业发展和目标城市，一共30分钟

引言 最近秋招落幕，期间一直在找高性能计算（HPC）相关岗位，最终上岸某大厂推理引擎开发。面试期间比较难受的一点是HPC相关的面试资料太少，故自己在面试过程中陆续整理了一些CUDA算子手撕的代码和知识点，最后打包成一个开源项目分享给大家。 项目地址：https://github.com/Tongkaio/CUDA_Kernel_Samples 如果觉得本项目对你有帮助，欢迎给项目点个 ⭐ 哦 ~ 项目介绍 本项目是 CUDA 算子手撕与面试指南：  汇总了面试高频的 CUDA 算子题目和优化策略，包含面试高频算子的编写示例 项目从算子 naive 实现到优化版本均包含完整代码，便于调试与性能分...

一面 1. 自我介绍2. 项目介绍3. 预处理cuda加速4. 吞吐量如何增加5. 模型量化，体积减小与速度提高分析，精度分析6. 混合精度量化7. 多摄像头特征，多传感器特征如何对齐？8. bev的缺点，有什么问题9. chat-glm的预训练是怎么做的？10. 为什么没有q的cache11. 目标跟踪论文的介绍，拷打12. 小目标检测的trick13. bert与vit的位置编码，chat-glm的位置编码14. transformer结构加速15. flash attention16. 如何设计一个框架，支持后端各种不同硬件的推理框架17. layernorm如何计算的，是对哪一个维度18. safe softmax19. 特征值是什么，不同类型的特征怎么对齐，怎么评判提取一个特征好不好20. softmax对某一个类别的梯度，怎么计算的，是不是恒为正21. BN前如果有线性层，线性层还要加bias吗50分钟

二面1. 自我介绍2. 推理框架的设计，计算图，运行图，内存管理3. 动态图，静态图，动态shape4. 图优化5. warp之间通信6. cuda reduce7. cuda softmax，warp处理与block处理的区别8. block，grid的设置，调度，为什么会影响算子速度9. CUDA的计算模型10.flash attention v1 v2面试时间：45分钟

秋招面了这么多家以来，面试体验最差的一家公司。上来没有让我自我介绍，直接问我为什么没写实习，我说我这不能实习。面试官说不让你去你就不去吗。我说我导师就在我办公室这，经常会喊我，我还是得保证毕业。然后他说大家都是过来人，肯定有办法的。我真是一整个大无语。面试啥也不问，直接喊我写智能指针，然后自己在那玩手机。我写完了喊他，喊几句才理我，也不看我写的代码，直接就喊我写下一个代码，写完了又不看，然后就结束了。30分钟，体验极差。

轻舟智航面试体验很不错，进度也挺快。    

0905一面  0909HR面0920发测评 1011 OC我说下周一给答复，决定签不签

周一投完这周共5个面试 面完3个 时间冲突放弃1个 周五还剩1个力扣和数据结构没怎么刷先上战场了 面试中目前失败一个（写了65%）研一下到现在学了半年CUDA和TensorRT构建推理引擎 各类模型的高性能算子和高性能推理还缺乏实践 更深的TVM，分布式的deepseed和汇编没时间了 现在迷茫了 要学的很多且可能学完依旧找不到      

一面1.自我介绍2.卷积算子实现3.端侧的大模型部署4.学过计算机哪些课程coding：树形DP

1. 自我介绍2. 项目介绍3. 性能优化4. 端侧大模型部署，RK3588算力5. 推理框架6. transformer结构设计7. static修饰变量，修饰函数8. 智能指针leetcode 15440分钟，感觉自己在唱独角戏，面试官不太懂我干的内容

1. PPT介绍2. 问了一些多目标跟踪算法3. 卡尔曼滤波4. 推理框架使用5. CUDA锁页内存问了20分钟的样子，没怎么问

一、并行计算概述：1、并行计算是指：A. 单个计算机同时处理多个任务B. 多个计算机同时处理单个任务C. 单个计算机逐个处理任务D. 多个计算机逐个处理任务答案：A2、下列哪个是并行计算的主要优势？A. 能够处理大量数据B. 提高硬件利用率C. 加快计算速度D. 所有上述选项答案：D3、Amdahl定律主要描述的是：A. 并行计算的速度提升B. 并行计算的硬件需求C. 并行计算的编程复杂性D. 并行计算的能效比答案：A4、哪种程序可以从并行计算中获益最大？A. 具有大量独立计算任务的程序B. 计算密集型程序C. I/O密集型程序D. A和B都对答案：D5、并行计算的最大挑战之一是：A. 设备成...

并行硬件和架构一、客观题1、下列哪项是并行计算中使用的硬件设备？A. 多核CPUB. GPUC. FPGAD. 所有上述选项答案：D2、在多核处理器中，"core"是指：A. 内存单元B. 处理器单元C. 存储单元D. 输入/输出单元答案：B3、对称多处理器（SMP）系统的特点是什么？A. 所有的处理器共享物理内存B. 每个处理器都有自己的物理内存C. 处理器之间没有物理内存共享D. 处理器之间可以共享网络资源答案：A4、NUMA系统是什么的缩写？A. Non-Uniform Memory AccessB. Non-Uniform Machine ArchitectureC. Network ...