4月份成立的基础模型组，对标qwen deepseek等，一千张卡，20人用目前在做后训练，后面会做预训练手写一个MHA重点考察了qkv的维度转换输入维度 batchsize,sequence lenth, emb_dimreshape + permute后的维度，3，batchsize，num_head，sequence length，head_dim qkv = self.qkv(x).reshape(batchsize,sequence length,3,num_head,head_dim).permute(2,0,3,1,4) q,k,v=qkv[0],qkv[1],qkv[2]

1.金山办公开发二面，表现中规中矩吧2.广联达发来笔试，网上查薪资，感觉一般，拒了3.吉利打意向电话，说面试过了，问我期望薪资，我直接想要月薪20k以上，后来网上看了吉利一般就开10多k，说多了，反正低的我也不想去