小鹏面经

面试官好专业，一直在问我架构，有的专业名词我听不太明白。。。。还有kafka也能算存储结构吗，我问了下ai，ai说不算。。。。

昨天晚上妈妈突然告诉我，一个在科大毕业每几年的亲戚去世了，才三十不到。突然间我躺在床上，感觉自己对未来的焦虑、烦恼，似乎在生命之重面前成了一片微不足道的叶。昨天我的女朋友送了我一个噜噜的玩偶，我把它放在床上陪着我睡觉。我突然想到，如果有一天我生了一场大病，躺在床上，无法健身，无法学习，无法和我爱的人一起散步，吃饭，做最平常的事情，这有多么可怕啊？我们现在活着，爱着，在努力地往前走，这就是最伟大的财富了。

一开始还有一些小厂中厂找我，现在啥都没有了

1. 自我介绍2. 训练一个 decoder-only 大模型时，为什么 embedding 层和 lm head 常常共享权重权重共享本质上是一种参数高效和统计一致性的设计。输入端 embedding 学到的是“token 到向量空间”的映射，输出端 lm head 学到的是“隐藏状态到词表概率”的映射，如果这两个空间本身就在描述同一个词表语义，那么共享权重可以减少冗余参数，并让输入语义空间与输出判别空间保持一致。从优化角度看，共享权重还能起到轻微正则化作用，尤其在词表非常大时更明显。代价是模型表达自由度下降了一点，但对大多数语言模型来说这个损失远小于收益。很多实现里会保留一个独立 bias...