1. 自我介绍2. 训练一个 decoder-only 大模型时，为什么 embedding 层和 lm head 常常共享权重权重共享本质上是一种参数高效和统计一致性的设计。输入端 embedding 学到的是“token 到向量空间”的映射，输出端 lm head 学到的是“隐藏状态到词表概率”的映射，如果这两个空间本身就在描述同一个词表语义，那么共享权重可以减少冗余参数，并让输入语义空间与输出判别空间保持一致。从优化角度看，共享权重还能起到轻微正则化作用，尤其在词表非常大时更明显。代价是模型表达自由度下降了一点，但对大多数语言模型来说这个损失远小于收益。很多实现里会保留一个独立 bias...

BOSS问了60家，只有三家回复我，还说只要应届生😭😭😭😭

给时间时间 终会梦想成真的🥺那就努力努力再努力🤲

项目深挖很多，也聊到了互联和软件硬件协同最近面了一场阿里云的 AI Infra 二面，整体感受是，这轮不是那种偏八股或者偏刷题的面试，更像是围绕项目经历一路深挖，看你到底有没有真的做过优化，也看你对自己后面想做的方向是不是足够清楚。开头还是常规自我介绍，我主要讲了自己现在在做的方向，包括 AI Infra、异构计算、底层性能优化，以及一些算子开发、图优化、推理优化相关的经历。后面的问题也基本都是顺着这些内容往下展开。前半段主要是在深挖项目。面试官先问了我现在做过的几类事情，我把内容归成了三块：一块是算子优化，一块是算子融合和图优化，还有一块是一些稳定性问题和 bug 修复。这里他问得比较细，不...