秋招第一oc，北斗没pk过大佬。接正式批了两周一面 面了快一个月了

在线抓一个实习生 最近框架活太多干不过来了 没啥细致jd 熟悉大模型 熟悉Megatron/deepseed 熟悉torch python 有一些框架层面项目经历 牛客私我简历 简历直达主管

 赤石 看看同事有没有在夜里偷偷辣石

三面manager和我说后面就是排序了，问了问hr还没回我。先开香槟认为是过了8，二面上周二面的。二面八股&项目 c++ 八股 智能指针 多态 模版cuda 内存模型cuda 计算模型roofline 模型写题cuda block reducecuda vector dot（要优化share mem三面纯聊天 70min----------------------------------秋招第一泡！等结果

又是上来俩题。。。人麻了 写题  dfs conv2d c++写 考虑stride padding kxk kernel  --------------------------------------- 第一题没写出来，第二题a了，听面试官意思还有二面    更新：约二面了

真没啥好说的，上来就写仨题写题concat如果有四个维度，每个维度该如何拼接CUDA写concat，四个维度。每个维度都怎么写LRU------------------------------------面了。。。感觉又没面

上周五面的快star，面起来感觉很神奇八股&&项目自我介绍了解c++吗，c++和c的new malloc delete free之间有什么区别new是如何给内存进行分配的这两个能混用吗？计算机里内存是如何排布的什么是锁页内存什么时候调用堆资源，什么时候调用栈资源内存里哪里是禁止访问的为什么需要做多级内存管理智能指针都有什么weak ptr有什么应用场景weak ptr内部是如何实现的讲讲c++的多态----------------------------------神奇的来了，面试官：我不太懂CUDA。你能整体上给我讲讲这门编程语言吗(一时间没反应过来真假)做题中等------...

误入AD圈是我的错了。。被怒挂八股&&项目看到量化相关的，讲讲大模型量化吧讲讲大模型量化和普通量化之间的区别如果量化有异常值如何消除你觉得目前量化的工作还有哪些缺陷在联想实习的项目，展开讲讲音频领域音频模型如何部署讲讲Paddle 写的int4 量化算子(面百度都没问过我这个。。。)展开讲讲大模型的w4a16和w8a8量化写题一道hard，忘了啥题了-------------------------------------------秒挂，感觉做的东西和面试官不太符合，部门是做ad的。

没想到吧兄弟们，直接开始二战了。捞了我就面呗～这回面的挺爽的。点名表扬语音部门，面试至少感觉respect。八股/经历自我介绍：懂得都懂，开源+实习讲了讲在字节的实习工作：大模型训练模拟器根据这个他问了我TP PP DP都是什么，具体流程如何根据TP PP的通信量进行取舍问了量化相关，什么是per tensor，per channel，group wise不同的量化方法之间的区别，为什么group wise能更加降低量化误差不同的量化之间开销的区别，如何降低开销你了解量化中的异常值吗，如何消除异常值（提到了下面三种方法大模型量化方法介绍 gptq awq smoothquant都是什么你了解k...

背景：给paddle写过代码，参与多次paddle开源。贡献过API，编译器（PIR），CUDA Kernel等代码。面的很快，就40分钟。有的时候想多说两句面试官说：快点说，不重点的跳过就行。遂很多都说了一两句就跳过了项目&八股相关： 惯例介绍一下自己：讲了实习+项目+paddle的开源。 开始又惯例问了问我想做什么方向，训练偶or推理。 问我对哪段实习经历印象最深（因为是面推理的岗，我就讲了商汤。 那你根据你这段经历讲讲你在公司是怎么学习的过程（讲了kernel相关的经验，讲了讲算子融合。 你们为什么要写算子，算子难道比cublas的快吗？（给她讲了讲为啥量化做了算子融合，举了Fu...

开始各个厂的人才计划和提前批了，面一次总结一下。希望秋招有个好结果。这段时间跑去字节做训练了，推理相关的忘了好多。。。八股+项目 自我介绍：学校，实习，开源开始聊天：问我以后想做训练还是推理，然后给部门介绍了一个遍。问在商汤工作写的算子：RMSNorm，如何做的算子融合。 八股开始，问NV显卡的内存模型 和计算模型。 c++11 问share mem，share mem是不是进程安全的。如何保证share mem的进程安全性 问serving相关的知道哪些技术：orca，投机解码。 Llama3 和 Llama2的区别，新用了哪些层：全局GQA 模型层的优化手段：MLA 接着MLA问新kv c...

帮上海ailab招个做大模型量化实习的朋友进去做lmdeploy量化算法调研开发base上海，家人们来啊！