大模型算法面经-京东

#面经#背景
工作4年,长期从事深度学习相关工作。目前的主要方向是垂直领域大模型和RAG相关项目。  

xdm本期要5个点赞!!有点赞继续分享

面试问题
1. LoRA原理,微调的哪些层,相关训练参数设置, epoch、learning_rate等等
2.RAG 切片怎么做的?
3. 微调中遇到了哪些问题,怎么解决?
4. embedding 召回优化
5. 原生模型复读不严重,为什么微调后复读严重?  感觉现在模型不咋重复了。。
6. 领域知识能不能通过LoRA微调得到
7. 如何解决大模型幻觉?或者说如何缓解吧
8. loss 除以 10 和学习率除以10 有区别没?主要考优化器
9. self-attention为什么要做qkv的线性变换?一开始听着这个题目,懵的
10.机器学习懂不懂?
11. self-attention 为什么 要做softmax?

给你两个字符串,比如s1=acdk, s2=ckad,
每次可以把s1的任意一个字母移动到末尾,问最少移动次数使s1=s2。如果不存在,则返回-1;

题目:没见过,做不来。很想开cursor给它秒了。。。#牛客创作赏金赛#

点赞给个鼓励吧~ 祝我们都拿到满意的offer!#ai智能作图#
全部评论
大佬,pdd 考虑不嘛哈哈
点赞 回复 分享
发布于 2024-12-14 21:18 上海

相关推荐

05-19 09:04
点赞 评论 收藏
分享
今天看到京东TGT这个话题,着实是又好奇了一把,去年京东的涨薪本身就让人狠狠羡慕了,这一波入局头部技术人才,薪酬目测还能再创新高!赶紧和学弟讨论了一番,整体结论是这个TGT项目还是值得观望一下的,浅薄聊聊我的想法。虽然很多大厂都有这种顶尖人才计划,京东在技术人才计划上算是起步晚了,但是这一波我还是蛮看好的,毕竟京东一向是低调闷声搞大事派的,务实的的风格也很东哥,做什么事就一定得做成了,给到的一些项目细节就能看出来决心。比如就从最直接的薪资上吧,我看TGT对外是说薪资不设上限,这一点其实就已经超过很多公司的高端人才计划了,去年我记得深信服xstar是说50w以上,小红书redstar是说年薪百万,但TGT这波敢提”不设上限“这个说法,也确实感觉出来“重金英雄帖”的诚意了,挺期待各位佬们后面能开到多少,另外就是这个项目背后的内部决心和发展机会,我记得好多年前京东就有过高端技术人才计划,只不过那个时候是面向博士的,这回这一波打开学历限制,显然是做好准备了,在本硕的校招领域也要抢头部人才了。就像外卖业务一样,快准狠地做好战略并拿到成效,这个TGT估计也是一样的决心。其次我觉得京东的AI课题很复杂,主要聚焦在电商搜索与推荐、供应链优化、金融风控、智能客服,而且每个业务都离不开京东的高质量数据,比如供应链需要库存调拨、车辆路径规划复杂的组合优化问题,这里面主要涉及很多运筹学、强化学习;电商推荐也非常复杂,不同于我们刷纯内容平台的内容推荐,会更注重交易转化,需要平衡用户兴趣和商品利润;金融风控就更需要精准,需要小样本学习、反欺诈场景下的图神经网络。如果做京东的这些课题,对业务逻辑的要求是更高的,需要深入理解零售和供应链,传统优化问题和AI结合的场景比较多,覆盖的研究方向也比较多,常见不常见的都有,我看有多模态大模型与应用、机器学习、搜索推荐广告、空间与具身智能、高性能与云计算、大数据、AI Infra、安全方向,对于各个方向的同学来说都是很好的可以结合工业界实操,验证自我技术设想的好机会。在东子这一波决心下,感觉有希望的学弟学妹真可以押个宝了,毕竟TGT第一年做,估计京东也在试水,往往早鸟有虫吃毕竟我想去也没机会了,超过毕业2年了,建议学弟学妹抓好这个机会冲!
放不开:东哥还是财大气粗啊
点赞 评论 收藏
分享
05-08 17:04
已编辑
浙江大学 算法工程师
面试问题:- (针对简历提问)你工作里主要关注哪些指标?解释一下AUC含义、计算和作用- 主流的开源大模型结构有哪些?(prefix decoder,casual decoder、encoder-decoder)- 介绍一下layernorm和batchnorm的区别?- 在机器学习里,怎么处理长尾数据和多峰数据?- 怎么解决模型的冷启动问题,你觉得LLM在冷启动方面能够起到什么作用?- 介绍一下常见的优化算法(SGD ->Adagrad ->RMSProp ->Adam -> AdamW)?优缺点- 为什么Adam不一定最优而SGD最优的?怎么理解分析?- (针对简历提问)你工作里的对比损失是怎么构造的,有什么作用?介绍常见的对比损失的公式。代码题:- 数组第K大。给定整数数组 nums 和整数 k,请返回数组中第 k 个最大的元素。(力扣215原题)- 手写对比损失的计算(结合项目),并简单说了一下原理。(大概写出来就好)二面我这个是交叉面,提问的有部分设计大模型,也当然我简历上有大模型,所以问了一些llm+搜推的内容,但这部分交叉问题比较浅,能说个大概就很好,同时也有很多经典的机器学习面经问题。因为项目里提到了对标学习,所以面试官在代码考核部分让我写个示例,所以写进简历的一定要准备好(包括流程步骤,代码实现大概要清楚)。面广告算法的岗位,机器学习面经暴率很高,建议熟背,就算是看过有印象,问到的时候也会基本很稳。
点赞 评论 收藏
分享
评论
14
44
分享

创作者周榜

更多
牛客网
牛客企业服务