淘天补录

5.19号正式入职，干了两周端午就回学校准备考试了。简单说说感受吧。 🏢工作环境：是在美团的望京鼎成这块，算是很新的办公点。四栋楼，每栋14层楼四部电梯，高峰期很堵，排很长的队。工位的不算宽敞，外接显示屏后就没多大空间。整个工区的采光还不错，人体工学椅躺坐都挺舒服，中午可以带个眼罩和枕头会休息的好点。每层楼也会配咖啡机（要钱），热水机，自动贩卖机。 💼工作内容：前两周一直在landing，项目涉及的服务比较多，整个链路比较长，我所要负责也有四个模块。所以就一直在看文档，看代码，查日志，搞清项目结构。自己的产出目前就只有几个新人文档,包括怎么配环境，怎么查日志等（之前组里的不完善，自己也踩了...

感觉就是那种，背景也不够硬，实习也不够硬，啥都不够硬，除了硬着头皮在各个招聘软件和官网平台投没有任何收获，已经不知道自己能干啥了……

1. 自我介绍2. 训练一个 decoder-only 大模型时，为什么 embedding 层和 lm head 常常共享权重权重共享本质上是一种参数高效和统计一致性的设计。输入端 embedding 学到的是“token 到向量空间”的映射，输出端 lm head 学到的是“隐藏状态到词表概率”的映射，如果这两个空间本身就在描述同一个词表语义，那么共享权重可以减少冗余参数，并让输入语义空间与输出判别空间保持一致。从优化角度看，共享权重还能起到轻微正则化作用，尤其在词表非常大时更明显。代价是模型表达自由度下降了一点，但对大多数语言模型来说这个损失远小于收益。很多实现里会保留一个独立 bias...