无论文——小鹏汽车

4月份成立的基础模型组,对标qwen deepseek等,一千张卡,20人用

目前在做后训练,后面会做预训练

手写一个MHA

重点考察了qkv的维度转换

输入维度 batchsize,sequence lenth, emb_dim

reshape + permute后的维度,3,batchsize,num_head,sequence length,head_dim

qkv = self.qkv(x).reshape(batchsize,sequence length,3,num_head,head_dim).permute(2,0,3,1,4)
q,k,v=qkv[0],qkv[1],qkv[2]

全部评论
专业性很强
点赞 回复 分享
发布于 昨天 12:22 江苏

相关推荐

看起来名字可以很长:笑死 我暑期实习阿里云的意向也被 qq 邮箱放在垃圾箱了
投递字节跳动等公司10个岗位
点赞 评论 收藏
分享
昨天 16:30
已编辑
门头沟学院 Java
听说写总结能够提升自己的约面offer运气,加上也需要复盘一下,给各位参考一下。本人titile:双非硕(非深大杭电重邮这种,纯不知名双非)实习经历:一段小厂c端一段中厂b端,后端开发笔试测评AI面一堆没什么用就不总结了,仅总结进面:星环科技  后端 一面挂 要求提前实习某益 OC拒  直接跟HR谈薪到月base20K,真能给也算他牛,结果果然把我拒绝了,给了估计也不会去,保底的智元机器人 测试 一面挂  面试我的是硬件测试但是我投的软件测试,面试官和我直接无语3分钟,然后秒挂电科金仓 测试 一面挂 最想去的一家,结果挂了,答的也不错,有点破防。。。数数科技 OC 但是要求提前实习转正,在上海,拒了总结:双非秋招就是一坨。。。投了一堆国企也没动静。金9银10 是985的9。10月继续战,11月就跑去考编考公去了。待面:深信服零食有鸣CVTEKN Group上海汉得-----------------------------------------------------10.25更新-------------------------------------------------------------KN Group OC但是是实习转正 我服了c零食有鸣 OC 实习4个月签三方。。。深信服 排序挂 可能是前面9爷太多了CVTE 等综合面汉得 一面挂 面试体验较差且要看我实习代码这是能看的吗?待面:Meta APP总结:怎么都是让实习再转正啊我就想签一个正经的直接签校招三方的
投递三奇智元机器人科技有限公司等公司10个岗位
点赞 评论 收藏
分享
10-24 01:06
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务