京东算法一面面经

第二天速通人才库

写个面经攒攒人品

面试了半个小时,主要还是项目和实习延申出去的一些八股

  1. 为什么要用BPE,讲一下原理,对自己的项目有什么提升
  2. 为啥项目不使用 Decoder Only 的而要使用 BERT (应该是想了解三种预训练架构间的区别,还有各自特点)
  3. Stable Diffusion、DiT、UViT 的区别
  4. 讲了一下 LoRA 原理和特点,LoRA 两个低秩矩阵怎么初始化的(A高斯B为0),AB 初始化能不能反过来 or 都是0 or 都是高斯(不行,这样影响到主干的初始状态了)。(AB 初始化能不能反过来没当场回答出来,我觉得应该是可以的,不知道会不会有影响;全为 0 应该也不行,有没有大佬讲讲具体原因

手撕(只用说思路或者写伪码):

  1. 516. 最长回文子序列 (想不出来状态转移方程,面试官直接说换一道题)
  2. 链表是否有环
#面经##算法##京东#
全部评论
个人理解,LoRA微调里面,AB反过来初始化可以,但不可以全0,A的梯度更新过程依赖于B,B的梯度更新依赖于A,因此初始化是需要AB其中之一非0,而AB其中之一为0可以保证在微调的初始阶段,原模型从大的文本语料库中学到的信息被保留下来,所以AB其中之一需要为0
1 回复 分享
发布于 2024-08-31 14:55 四川
一个为0应该就可以。
点赞 回复 分享
发布于 2024-09-02 10:36 北京
楼主是大模型算法岗吗
点赞 回复 分享
发布于 2024-09-01 17:29 贵州

相关推荐

从二月初开始刷力扣准备实习,三月初开始投递,奋斗三个月最终只拿到灵犀互娱、面壁智能和几个小厂的offer。OPPO     一面挂美团    简历挂快手    HR面后因为到岗时间排序挂美的    终面评估携程    简历挂小红书     简历挂腾讯    面了八次,三个二面挂两个一面挂作业帮     投递无响应虾皮    投递无响应饿了么    简历挂淘天    简历挂蔚来    简历挂理想    评估中,应该没有录用意向小米    排序挂蚂蚁    二面流程中京东    投递无响应B站    简历挂滴滴    简历挂华为    笔试挂阿里云    简历挂拼多多    简历筛选360    简历筛选阿里国际    简历挂阿里智能信息    一面挂阿里控股    简历挂百度    投递无响应字节    简历挂58同城    简历筛选海康威视    简历筛选网易游戏    简历筛选得物    简历筛选灵犀互娱    oc高德打车    简历挂阿里大文娱主动终止盒马    简历筛选飞猪    简历筛选顺丰    简历筛选找的一般是大模型应用开发岗,本2硕9,无论文无实习,最后准备去灵犀了,有几点想拿出来跟大家交流的。1. 尽早准备,项目和leetcode应该在三月开始投递时已经达到面试水平,当然项目可以稍微差点因为面试过程中可以进行修改后再进行后面的面试。2. 论文和实习在找暑期之前最好有一个,发不了论文就尝试去刷一段日常,反之则发个小论文。3. HR面之前甚至到HR面都可以跟面试官说能够立即到岗,因为今年找下来的感觉,到岗时间是一个很重要的因素。4. 对于不能复活的公司如淘天、美团等,可以尝试等到中期再投递,否则面完一段时间面试水平上来后会没有面试机会。
你投了多少份简历了?
点赞 评论 收藏
分享
评论
1
17
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务