1. 自我介绍2. 训练一个 decoder-only 大模型时，为什么 embedding 层和 lm head 常常共享权重权重共享本质上是一种参数高效和统计一致性的设计。输入端 embedding 学到的是“token 到向量空间”的映射，输出端 lm head 学到的是“隐藏状态到词表概率”的映射，如果这两个空间本身就在描述同一个词表语义，那么共享权重可以减少冗余参数，并让输入语义空间与输出判别空间保持一致。从优化角度看，共享权重还能起到轻微正则化作用，尤其在词表非常大时更明显。代价是模型表达自由度下降了一点，但对大多数语言模型来说这个损失远小于收益。很多实现里会保留一个独立 bias...

面试通过了，但是其实待遇没有之前的待遇好 没辙了去看看吧

AI的发展快到令人发指，今天主要和大家分享一下AI时代对测试测开的一个影响，下面主要从裁员危机，面试影响，职业发展这三个角度分析。裁员危机行业裁员当下热点：最近大家肯定被一大波裁员信息刷屏了，亚马逊裁员一万人，微软裁员两万人，国内的百度字节等裁员几千人。如果仔细研究一下相关的数据就会发现国内的公司不止近两年裁员，他们一直都在裁员然后招新人，短期看AI并没有对国内的IT岗位数量造成太大的影响。裁员案例：大规模的裁员一般都是整个部门被端掉了，比如字节的游戏部门（朝夕光年）整个业务都被端掉了一下子干掉上千人（技术+非技术）。裁员的理由永远只有一个，那就是你的性价比不够了，从你身上赚不到钱了。如果你去...