1. 自我介绍2. 训练一个 decoder-only 大模型时，为什么 embedding 层和 lm head 常常共享权重权重共享本质上是一种参数高效和统计一致性的设计。输入端 embedding 学到的是“token 到向量空间”的映射，输出端 lm head 学到的是“隐藏状态到词表概率”的映射，如果这两个空间本身就在描述同一个词表语义，那么共享权重可以减少冗余参数，并让输入语义空间与输出判别空间保持一致。从优化角度看，共享权重还能起到轻微正则化作用，尤其在词表非常大时更明显。代价是模型表达自由度下降了一点，但对大多数语言模型来说这个损失远小于收益。很多实现里会保留一个独立 bias...

做过很多的项目，也有一段实习，但是投递就几乎没啥反应，是简历问题吗？大家帮忙看看吧想做AI产品

主播27号面完，到现在还显示这个是不是要挂了啊

话说过年期间晚会上那几个火出圈的机器人，大家看了么？看着它们在台上蹦跶的样子，不知道你们咋想，反正我觉得挺诡异得，跟看被电的尸体没啥区别。但上帝归上帝，诡异归诡异，目前不得不承认的一件事是，整个社会的资金正在疯狂往这个方向流。不只是机器人，AI 的气氛也已经开始在全社会蔓延。我一个朋友，今年就活脱脱体验了一把。 元宵一过，老板把他叫去谈话，说公司打算把前端岗位撤掉，准备尝试 用 AI + 少量开发人员替代。受这个启发吧，开年第一篇，搞一点小思考，也算是给未来发几张 “预言牌” ，过几年再回来看看自己到底说对了几张。我先确定三个基调作前提，如果各位看的觉得不爽，或者觉得我这基调定的就是错的，那没...