1. 自我介绍2. 训练一个 decoder-only 大模型时，为什么 embedding 层和 lm head 常常共享权重权重共享本质上是一种参数高效和统计一致性的设计。输入端 embedding 学到的是“token 到向量空间”的映射，输出端 lm head 学到的是“隐藏状态到词表概率”的映射，如果这两个空间本身就在描述同一个词表语义，那么共享权重可以减少冗余参数，并让输入语义空间与输出判别空间保持一致。从优化角度看，共享权重还能起到轻微正则化作用，尤其在词表非常大时更明显。代价是模型表达自由度下降了一点，但对大多数语言模型来说这个损失远小于收益。很多实现里会保留一个独立 bias...

现在27届还没实习的我是不是废了

3.26 一面怎么说呢，体验很独特，面试官不开摄像头，我简单做个自我介绍就直接开始问，没有拷打我的实习、项目让我直接挑一个项目、实习自己说说，然后没有做出任何评价八股部分1、redis的集群有哪些模式2、redis集群底层是怎么同步的3、langchian有几种message类型（这个有点尴尬不会）手撕从尾开始k个一组的链表反转手撕直接秒了，总时长30min。面试官说思维面挺广，我反问部门以及技术栈其实我内心就想速度好快，面试官不开摄像头，问的随心所欲，恐怕是kpi了，要寄了，我相信自己的技术水平，哪怕是挂了，我想面评也不会太过于差劲（）结果半小时后直接进复试，约的转天，由于我要回学校考试，推...