讨厌为什么要在毕业的时候告诉我没有HC后悔为什么中考发挥失常没考上重点高中，为什么心态永远到关键时刻那么差后悔为什么高中不努力点上个一本后悔为什么大学去ALL IN ACM不早点实习多几段经历不是简历挂，就是二面挂，最终全在池子里泡死被人横向，我好痛苦，一到晚上就想哭，每天晚上不到两三点无法入睡，也睡不久，起床就担心手机传来被HR挂掉的信息，最抱有期望的依旧溺死在池子里，到底哪里还有机会，哪里还有我的容身之处，生活的意义到底是什么？

绷不住了

1. 自我介绍2. 训练一个 decoder-only 大模型时，为什么 embedding 层和 lm head 常常共享权重权重共享本质上是一种参数高效和统计一致性的设计。输入端 embedding 学到的是“token 到向量空间”的映射，输出端 lm head 学到的是“隐藏状态到词表概率”的映射，如果这两个空间本身就在描述同一个词表语义，那么共享权重可以减少冗余参数，并让输入语义空间与输出判别空间保持一致。从优化角度看，共享权重还能起到轻微正则化作用，尤其在词表非常大时更明显。代价是模型表达自由度下降了一点，但对大多数语言模型来说这个损失远小于收益。很多实现里会保留一个独立 bias...