卓驭日常实习面

高性能计算实习生
base深圳
1、毕业论文方向是什么？
2、介绍项目关键组件和模块
3、算子和tensor是什么关系？
4、计算图是用什么构建的？
5、权重是怎么导入手搭的model？
6、大模型推理分为哪些阶段？
7、prefill阶段有没有办法加快KV cache的生成？
8、prompt之间的token是否是有依赖的，是否可以并行？
9、如何使用nsight辅助优化的，重点关注了哪些指标？
10、吞吐量的含义？
11、memory bounding, compute bounding
12、在模型和算子已经固定的情况下，影响模型推理速度的因素有哪些？
13、prompt的长度是否会影响推理速度，decode阶段？上下文长度会影响吗？
14、平时会关注计算架构，芯片架构吗？
15、进一步提升大模型推理优化的性能，有哪些技术是可以应用的？
16、稀疏化kv cache需要改变模型的训练吗，还是只是一个工程上的问题？
17、对于高性能计算岗位的理解，做这个方向的工作需要具备哪些知识和技能？
日常工作：
1）简单功能的开发和维护，自动驾驶功能落地，引擎上的工具
2）工程质量上，代码规范编写，单元测试编写，开发文档的编写
#卓驭##发面经攒人品#