蚂蚁 AI研发工程师

在阿里做算法，就像是精密仪器里的螺丝钉。算力自由，基建完美。工作极度聚焦且纵深，可能整个实习期都在死磕某个大模型或系统的几个微小切面，或者用最前沿的 SOTA 模型，去卷一些鲁棒性或增益。但是你只是巨大链路中的一环，业务感知较弱，且内部算法神仙打架，螺丝钉之间的内耗极强。在小厂做缺陷检测，数据可能需要自己清洗，然后再调模型，甚至需要你盯边缘端部署。干的dirty work比较多，然后也没什么mentor带你，最主要的还是认可度不行。围城内外，大抵如此。一个是金碧辉煌的绞肉机，剥夺了你纵观全局的自由；一个是无人问津的泥沼地，困住了你本该闪耀的简历。无论踏入哪条河流，这大抵都是我们这群敲代码的人，...

整体面试还是不错的，攒人品中～1.项目拷打2.实习经历介绍3.LoRa4.显卡资源如何，如何解决资源不足的问题5.效果如何测评6.有没有测常见的 benchmark7.详细介绍快手实习8.论文介绍9.DeepSpeed zero 策略10.除了 zero 外还有没有其他策略，也就是 offload 和 infinity11.batchnorm 和 layer norm 的区别，主要是 batchnorm 和 dropout12.model.train() 和 model.eval()的区别13.dropout 测试时如何使用的14.Coding1：买卖股票的最佳时机15.Coding2：字母异位词分组

面试里如果被问到“为什么Attention要做成多头，而不是单头就够了”，很多人会先回答一句：“因为多个头可以关注不同子空间的信息。”这个方向并没有错，因为我最一开始学算法的时候，也思考过这个问题，但那会儿搜到的也就是这些原理罢了，但问题在于，这个说法太抽象了。面试官如果继续追问一句“什么叫不同子空间？到底不同在哪”，很多人就接不下去了，反正我到毕业写完论文了都没想过这个点。要把这道题答好，其实需要先回答一个更本质的问题：如果只有一个头，究竟会出什么问题？把这个问题讲透，多头注意力的问题也就解答了。（我的回答建议在文末）一、先别急着讲多头，先看单头的瓶颈到底是什么先从单头注意力开始。假设输入序...

事已至此，也只能祈祷oc和offer了备注：4-2 hr面 当天云证