4月份成立的基础模型组，对标qwen deepseek等，一千张卡，20人用目前在做后训练，后面会做预训练手写一个MHA重点考察了qkv的维度转换输入维度 batchsize,sequence lenth, emb_dimreshape + permute后的维度，3，batchsize，num_head，sequence length，head_dim qkv = self.qkv(x).reshape(batchsize,sequence length,3,num_head,head_dim).permute(2,0,3,1,4) q,k,v=qkv[0],qkv[1],qkv[2]

bro搁这写需求呢😅

#正在实习的你，几点下班#  #周六调休日，你打算几点下班？#

腾讯内推开始了！全程push杜绝石沉大海 ，加入我们腾讯 热乎乎的内推码：EUTPZZRV  在腾讯，你将有机会参与国际化项目，拓展全球视野，与世界各地的人才共同合作。 分享一些面经： 第一轮技术面  闭包作用及实际应用场景 HTTP/1.1、HTTP/2、HTTP/3的核心差异 实现红绿灯控制效果（异步时序逻辑） React Hooks的设计动机与类组件对比 浏览器事件代理原理及实际应用 手写Promise核心逻辑（包含resolve/reject） 数组去重与高频字符统计算法 Web安全防护措施（XSS、CSRF） 浏览器渲染流程与重排/重绘优化 跨域解决方案（JSONP、CORS、代理）...