京东三面面经

1. 自我介绍

2. transformer中softmax的作用?不做softmax会有什么问题?Softmax怎么解决上下溢的问题?除了减去最大值还有方法?
3. selfattention 和传统attention 的区别?为什么Q K矩阵要不一样?Q K相同会怎么样?
4. BERT的CLS token的作用?这个CLS在下游分类任务的效果不好,有什么不用CLS的改进方法吗?用BERT做分类如何更好表达句子含义?BERT的输出有几种?对应BERT中的哪两个函数?BERT当中哪些计算是线性的哪些是非线性的?BERT是怎么区分一词多义的?
5. 学习率warmup的用法和作用?解释梯度消失的原因和解决方法,Dropout可以解决梯度消失吗?
6. BERT和GPT各自结构的优势?如果大模型以后部署、速度都得到了很大的提升,BERT会被取代吗?
7. GBDT和随机森林的区别?各自的方法流程?各自的数据处理的特点?各自偏向于解决什么问题?GBDT和随机森林对异常值的敏感程度?随机森林随机体现在哪些地方?
8. 讲一下BN和LN,Transformer问什么不用BN?
9. LORA微调的目的?LORA可以增加领域知识吗?LORA矩阵初始化?两个矩阵的初始化反过来会怎么样?LORA微调的超参?
10. LLM复读机问题以及解决方法有哪些?怎么抑制LLM的幻觉问题?常用的位置编码有哪些? 一些对原始attention的改进有哪些?
11. 为什么要用多头注意力?多头的思想和QKV三个不同投影矩阵的思想的异同?QKV矩阵除了增加表达能力以外还有什么作用?(不太懂问的是啥,面试官后面提示说是还有降维的作用,不是很懂)类似多头的集成的思想在什么算法里面比较常见?(我答了机器学习的集成学习类,比如前面的随机森林,还说了MOE这种,面试官比较想听到的是多尺度CNN)

修改了一些内容,恢复开放了,之前热度太高有点😨

#京东求职进展汇总# #软件开发笔面经#
全部评论
八股仙人
13 回复 分享
发布于 2024-09-10 20:22 北京
没绷住,和我完全一样的面经,我也今天面的,晚上就挂了
6 回复 分享
发布于 2024-09-10 23:40 上海
已经能感受到面试的时候的窒息感了
5 回复 分享
发布于 2024-09-10 20:45 广东
这八股也太炸裂了😂
4 回复 分享
发布于 2024-09-10 20:32 安徽
😂你这nlp岗含金量妥妥拉满啊😂
3 回复 分享
发布于 2024-09-11 00:17 陕西
https://zhuanlan.zhihu.com/p/360343071
2 回复 分享
发布于 2024-09-10 20:53 北京
请教一下,lora两个矩阵的初始化反过来会怎么样?答案应该是怎样的呢
点赞 回复 分享
发布于 2024-10-13 15:13 上海
woc,传统算法现在也常问么😱
点赞 回复 分享
发布于 2024-09-30 21:12 安徽
有点像KPI,是不对口吗,为啥项目没问?
点赞 回复 分享
发布于 2024-09-20 16:43 辽宁
请问一下是什么部门呀
点赞 回复 分享
发布于 2024-09-20 09:41 辽宁
难死了
点赞 回复 分享
发布于 2024-09-11 15:12 江苏
人傻了
点赞 回复 分享
发布于 2024-09-11 14:48 北京
佬,时间线可以说一下吗
点赞 回复 分享
发布于 2024-09-10 20:35 北京

相关推荐

09-09 15:40
山东大学 Java
1、自我介绍2、请你花 5min 左右介绍一下项目一的背景和你做的工作3、你们的缓存和 DB 用的什么一致性策略?是强一致的吗?4、目前两级存储都是做的单机部署,你的这个策略能否应用到分布式的场景?如果应用到分布式场景下,需要考虑哪些问题?5、浅谈实习(6min)6、项目中用到了 ES,请你谈谈 ES 和 Lucene 的关系7、ES 是怎么实现高效检索的?8、ES 的数据查询是放在内存中还是磁盘中?9、MySQL 会存在深分页查询,ES会存在吗?10、MySQL 中我如果执行一条 select 语句,limit 100,100; 那么实际在数据库中检索了多少行数据?11、处理 MySQL 深分页查询的手段有哪些?12、你觉得现在的大型商业产品是如何去处理深分页问题的?比如 Google 或者百度,怎么处理深分页的?13、项目中用到了 AI 扩图,简单讲讲14、平时有去了解过 AI 相关的一些技术原理或者说相关知识吗?15、谈谈你如何理解大模型这三个字?16、回到大模型的使用场景,你和它聊天,它是具有上下文的记忆功能的,你觉得这个记忆的功能是大模型提供的能力吗?大模型是有状态的吗?17、大模型是如何去驱动一些任务的执行的?比如订机票,打开网页等操作,为什么大模型能够去订机票?为什么它能够打开网页?18、给你提一个需求:假如一个城市,有 100 万个菜鸟的包裹柜,一个城市一天可能会有 1 亿 哥包裹的存取。现在给你这 1 亿个包裹的存入和取出时间,用一个数组来存储。假设这些包裹都是在一天内进行存入并取出的。现在的问题是:如何找出这一天中的哪个时间段包裹没有被取出来的数目是最多的?以及它们所在的时间段是多长的时间?你的方案的时间和空间复杂度是多少?19、项目中使用了分布式锁,谈谈基于 Redis 如何实现分布式锁?20、除了 Redis 实现分布式锁以外,还有其它哪些方案?21、分布式环境下,对于 MySQL 数据库而言,可以用什么手段来保证数据的唯一性?22、数据库的唯一索引对 null 支持吗?可以支持两个 null 数据吗?它是唯一的还是不唯一的?23、反问
查看22道真题和解析
点赞 评论 收藏
分享
评论
42
199
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务