最近有感

如题，已经接受了蚂蚁国际-智能体与大模型应用工程的意向，然后直接把阿里云(一面)，网易(二面)，美团(二面)，腾讯(一面)的流程给终止了，因为想暂时躺平不想面了好累，但是没想到蚂蚁的暑期还要体检，体检完应该没什么问题就可以了吧。顺便问问，有没有人了解蚂蚁国际world first这个部门？发发面经攒人品一面 3.23自我介绍项目拿一个AI做code review，你认为它最擅长和最不擅长的是哪方面介绍下threadLocal的工作原理threadLoacl的内存泄露，什么场景下会产生内存泄漏解释一下Redis中的缓存穿透，缓存击穿，缓存雪崩怎么保证Redis缓存和DB数据一致的解释一下CAS的...

简历完全过不了啊😢是院校的问题吗

1. 自我介绍2. 训练一个 decoder-only 大模型时，为什么 embedding 层和 lm head 常常共享权重权重共享本质上是一种参数高效和统计一致性的设计。输入端 embedding 学到的是“token 到向量空间”的映射，输出端 lm head 学到的是“隐藏状态到词表概率”的映射，如果这两个空间本身就在描述同一个词表语义，那么共享权重可以减少冗余参数，并让输入语义空间与输出判别空间保持一致。从优化角度看，共享权重还能起到轻微正则化作用，尤其在词表非常大时更明显。代价是模型表达自由度下降了一点，但对大多数语言模型来说这个损失远小于收益。很多实现里会保留一个独立 bias...