大模型算法面经-京东

大家好!我从事深度学习相关工作已有4年,目前主要专注于垂直领域大模型和RAG相关项目。

最近参加了几轮技术面试,收获了一些干货,特来分享,求个点赞支持!

这次目标:5个点赞!有了更多点赞,继续分享更硬核的内容!

面试问题汇总

  1. LoRA 微调原理:微调哪些层?常用训练参数设置:epoch、learning_rate 等。
  2. RAG 切片实现方法:如何设计和优化切片过程?
  3. 微调中的常见问题与解决方案:面试官特别关注实际踩过的坑和解决思路。
  4. Embedding 召回优化策略:如何提高召回效果和模型效率?
  5. 复读问题分析:原生模型复读不严重,微调后却复读明显,原因何在?感觉最近的模型不咋重复啊。
  6. 领域知识注入:LoRA 微调能否有效注入领域知识?效果如何?
  7. 大模型幻觉(Hallucination)解决方案:如何缓解模型幻觉问题,稳定输出?
  8. 优化器考点:Loss 除以 10 和学习率除以 10 有什么区别?
  9. Self-Attention 的线性变换 (QKV):为什么要做 QKV 线性变换?起初真懵了,为什么,你说为什么?
  10. 机器学习懂么?
  11. Self-Attention 中的 Softmax:为什么需要 Softmax?

算法题挑战 | 搞崩了...

题目: 给定两个字符串,比如 s1=acdk, s2=ckad,每次可以将 s1 中任意一个字母移到末尾,问最少移动次数使得 s1=s2。如果无法匹配,返回 -1。

感想: 没见过这题,完全懵了!一瞬间特别想开 cursor 给秒了!

最后的碎碎念:点赞求鼓励!希望大家都能拿到满意的 Offer!有更难的问题或者想了解更多面试细节,评论区见!🔥

#牛客创作赏金赛##面经##大模型##算法#
全部评论
xdm多来几个点赞收藏啊,后面继续分享
4 回复 分享
发布于 2024-12-12 21:27 四川
更新下,好像被其他部门捞起来了,继续面
1 回复 分享
发布于 2024-12-17 22:12 四川
笔试题,先查看两个字符各个字母长度个数是否相等,不相等直接返回-1。再求两个字符的最大公共子序列m,移动的次数就是字符长度-m。 不知道这样子行不行
点赞 回复 分享
发布于 2025-03-14 09:26 湖南
求LoRA微调细节
点赞 回复 分享
发布于 2025-01-22 22:59 辽宁

相关推荐

自我介绍以后开始拷问:项目:1,如何做到筛选视频困难样本的(只有这个答得有点曲折,也记不清项目里面是怎么做的了,其他答得还好的都记不清了,后面也知道了这个经历和公司业务内容强相关)八股:A。面试官说先从Python基础问起(问之前还确认了我用C还是用Python):1,Python里面可变对象跟不可变对象的一个区别,及其含义,以及模型训练当中怎么用2,Python里面可变对象包括什么,元组算不算可变对象3,对上一个的follow up:可变对象和不可变对象的本质区别?也即list能不能作为哈希表的key?(可能因为上一个问题答得隔靴搔痒没有切中面试官的心意)4,什么是全局解释器锁GIL,在这种情况下怎么进行多线程编程5,什么情况下会用多进程什么时候会用多线程6,多进程之间做并发的话怎么去做数据共享以及同步互斥(一开始自己回答了Lock,后来面试官提示是多线程之间做的并发,于是端上了Event和Semaphore Quene等)7,了解过Python装饰器的作用吗,在代码里面有没有用过,它的原理是什么8,Python在数据处理当中常见的性能优化手段9,10个T的视频数据浏(浏览数据或者点赞数据),想去统计这些数(每个视频的观看人数和点击人数)。这个东西用Python来写的话,会怎么去写(后续补充:在本地的机上面处理,而不是说用分布式那种那个来处理。10个T还不至于一定要上分布式)B,计网:1,HTTP跟HTTPS区别和联系C,数据库1,了解数据库事务吗,简单讲讲2,LEFT JOIN 和INNER JOIN的区别(但是本人对数据库实在不熟不知道有没有听错问啥……)D,大模型Transformer里面会用那个Flas Attention跟那个Paged Attention去优化,它们的那个区别跟那个原理是什么代码手撕:最长回文子串,不过是直接返回子串面试官看我补全代码以后捉了点bug就没说别的了,问了问时间复杂度以及有没有比动归更好的解法(此外我听过一个说法,说如果面试官直接问你hot100原题就是很想招你进来了,我不清楚)反问环节:1,这个实习岗位具体做什么?业务场景是什么?——主要围绕 TikTok 直播的音视频内容理解与标签体系建设。在连麦、试音等场景下,对内容进行识别后自动打玩法/分类/风格等标签。目标是提升标签质量(准确率/覆盖率等)并推动自动化。工作会包含线上推理服务与工程链路设计,配合策略/算法团队做模型与策略调优2,使用什么模型对数据打标签?开源还是闭源?——同时会做开源与闭源大模型的对比实验,效果好的方案会通过实验与切流获得更多流量。根据内容来看感觉这个应该是加了AI调用和提示词工程的python后端开发,整体更偏工程,也无怪乎大模型这块也就问了这么点btw喜茶的提拉米苏浓巧好喝
查看17道真题和解析
点赞 评论 收藏
分享
评论
32
88
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务