面试字节大模型(LLMs)RAG面被问麻了~

  1. LORA 原理:解释 LORA(Low-RankAdaptation)的核心思想,如何通过低秩矩阵实现参数高效微调?数学形式如何表达?
  2. Self-Attention机制:自注意力机制中 O/K/ 矩阵的作用是什么?如何通过缩放点积计算注意力权重?公式推导并解释Softmax 的意义。
  3. 位置编码:Transformer为何需要位置编码?主流 LLM(如 LLaMA、GPT)使用哪种位置编码(如 ROPE)?相比绝对/相对位置编码有何优势?
  4. Seq2Seg 模型:Seq2Seq模型的核心组件是什么?Encoder-Decoder结构如何解决长程依赖问题?
  5. RAG技术:RAG(检索增强生成)的完整链路包含哪些步骤?为什么它能提升生成质量?
  6. 大模型幻觉:大模型产生幻觉的根本原因是什么?
  7. 显存计算:7B 模型在训练和推理时的显存占用如何估算?显存与参数量、批次大小、序列长度的关系是什么?
  8. 实习与论文:详细说明实习中解决的一个技术难点,涉及哪些模型或算法?如何评估效果?
  9. 链表操作:删除链表倒数第 N 个节点的算法思路?如何用双指针法实现?边界条件(如头节点删除)如何处理?

#RAG##面试##AI##大模型#
全部评论
ttttt
1 回复 分享
发布于 06-11 14:47 广东
ttttt
1 回复 分享
发布于 05-15 13:52 浙江
tttt
1 回复 分享
发布于 05-14 16:18 北京
面试题当然可以开源给大家 后台T一下
1 回复 分享
发布于 05-09 17:24 湖南
ttttt
点赞 回复 分享
发布于 07-06 22:36 北京
ttt
点赞 回复 分享
发布于 06-20 21:34 江苏
ttttt
点赞 回复 分享
发布于 06-08 12:16 江苏
ttttt
点赞 回复 分享
发布于 06-04 19:11 北京
tttt
点赞 回复 分享
发布于 05-30 17:42 北京
111
点赞 回复 分享
发布于 05-29 16:14 北京
ttt
点赞 回复 分享
发布于 05-28 13:02 北京
ttt',谢谢大佬
点赞 回复 分享
发布于 05-26 17:13 湖北
ttttt
点赞 回复 分享
发布于 05-25 11:36 广东
tttt
点赞 回复 分享
发布于 05-23 16:48 山东
ttttt
点赞 回复 分享
发布于 05-22 18:17 广东
ttt
点赞 回复 分享
发布于 05-22 17:08 广东
ttt
点赞 回复 分享
发布于 05-21 17:06 香港
ttttt
点赞 回复 分享
发布于 05-21 11:38 上海
ttttt
点赞 回复 分享
发布于 05-21 11:05 日本
ttttt
点赞 回复 分享
发布于 05-21 11:04 日本

相关推荐

1.自我介绍,拷打项目为什么用多智能体不用单智能体了解哪些大模型应用框架(你项目中的竞品)rag知识库是怎么搭建的,怎么进行的分片操作如何让大模型更加理解医学名词(一般大模型理解不了医学名词)知识库的大小,我答了一个很大的数,问接口速度问题(一脸懵逼,没考虑过,只考虑过rag层面的优化)询问rag评估(孩子寄了我没做,但是我背过),问具体评估数值(🐔没做过,瞎逼逼了一个数字)优化空间从项目拷打中看的出来面试官水平确实比较高,而且是个声音很好听的小哥哥2.写算法,尽然是acm格式,幸好函数写出来了,可惜的是输入输出没写出来,链表的输入输出真的难3.反问环节:做什么业务,不足之处
梗小姐:佬,你投的不会是这个吧。 wxg-微信支付-模型组 主要工作方向: 1.利用支付数据、社交数据等制定安全策略进行数据挖掘、特征工程 2.前沿模型研究:利用LLM代替xgboost等传统风控模型 本次实习生,可能的工作:使用司内大模型平台进行agent构建,集成到企业微信机器人里,作为内部工具以消息告警等形式提醒产品同学,其实还是偏开发。 掌握python和java应该够用了。 需要掌握的基本知识 简单的开发技能 agent基本原理(重点:function call,可能会被问了解mcp吗) LLM基本知识(训练、微调和部署推理,偏工程化),最好再掌握一些RAG知识
查看13道真题和解析
点赞 评论 收藏
分享
06-20 16:49
已编辑
字节跳动_llm开发(实习员工)
大家很多人私信我大模型应用开发具体是做啥,正好我讲讲在字节实习3个月+的体验。现在以字节为例我看很多岗位,其实大模型应用岗位已经被纳入后端开发(大多还是属于开发序列,至少我看不在算法序列)当中了,所以总的来说二者并没有特别明显的区别,起码在公司的角度来看。以我自己为例,我也是面的后端岗位然后进来做Agent的开发,Agent开发暂时不涉及模型的训练,最多包含一些模型的微调(而且公司有平台)。总的来说,Agent开发主要是搭建workflow,主要涉及Rag、微调、Mcp、Prompt这些方面,包含一些技术栈py:langgraph、langchain、langSmith,java: SpringAI、langchain4j?,所以我觉得后端的同学直接投问题不大,但是需要python or java or 大模型基本知识的landing。我之前也没接触过类似的知识,还在字节里面有LLM学习季的好东西,包含了大模型的基本知识Transformer、Prompt工程、Rag实战等等各种基本知识的解释和实操,让我非常循序并循序渐进的了解了这方面的知识,并且燃起了对大模型学习的兴趣,不得不说这一点还是很值得学习的。其次,就是在实习过程中,大家讨论的都是如何提高大模型产生的效果、以及有没有更加方便的Agent工具能够参与 or 使用提效,整体氛围很不错,而且都是去聊一些比较新的东西,例如之前刚出的Agent2Agent协议。在我看来,Agent主要是以Multi-Agent写作文的形式完成一系列任务,例如Deep-Research利用搜索、爬虫等工具,获取想要查询的网页并爬取文章内容,并且生成一篇分析报告,包括了一些意图识别、任务规划、记忆、工具调用等。在这个过程可以加很多环节去提高分析报告的效果(在Prompt的层面),例如反思、自问自答、知识库、human-in-loop等等,我觉得设计这些环节还是需要很多经验的,目前很多需要参考了类似的设计有比如cursor等。至于学历的要求,不知道现在岗位需不需要硕士的学历,但是我看来其实本科也能做,包括我在的组很多Agent内容在Cursor、Trae等工具的辅助下,前端也参与了不少(没错,前端也写Agent)。所以现在在各种Agent工具不断出现的今天,大厂更加需要“能够熟练使用AI工具的人”。举例,本组有个本科校招生,ld说后续会让他参与LLM的开发内容。当然,以上是我3个月浅薄的理解,我其实也看了不少内容的一些技术文章,整体来说大概是个这么情况,感觉技术壁垒不深,但是基于目前资料跟Java(黑马)比有所欠缺的情况下,还是筛掉了相当一部分人,感觉可冲(感觉比较缺人,至少我们组人很缺);但是基于我之前很多段实习都是Java开发,我觉得大模型应用更在乎大模型的效果而不是性能,可能还是关注点会跟Java开发有一些区别,优先级不一样,很少用到一些中间件来做啥,目前我在整个过程中只用过Redis来缓存stream流。实习体验:1.需求:字节跟我实习过的其他大厂有很明显的区别,他是直接安排活让你去做,至于你做不做得了,这个就另说了(即使有mentor的帮助)。有个群友举的例子很好“就是把一个不会游泳的初学者丢进水池里,如果活下来了,就学会了哈哈”。所以在我很久没写py、langchain等内容的基础上、没在字节做过任何需求的时候,让我开发了一个我认为很大的一个需求,大概6-7000行(两周),我为了不延期,主动加班到10-11点,才在排期前做完。。2.福利:经历了字节下午茶的LastDay目前已经没啥福利了,零食、水果还是不错;其次,允许实习生出差,刚来没几天就团建 + 出差去北京(出差了一周),那段时间还是很滋润的,在北京也小小旅游了一下(带着女朋友一起去了,当然她的不报销,只是住在一起)3.博客:当初在快手实习的时候,基本上看遍了Kstack的文章,但是在字节我目前还没看完,而且受益匪浅,感觉文章整体含金量要高不少(可能快手现在也变好了,不尬黑)。4.带教:mentor和ld对我很好,也让我进入了一个新的领域,目前正好考虑通过这次机会往大模型应用甚至大模型算法转型.正好有学长跟我说过,“阿里很值得去实习体验一次,哪怕不留下来”,我觉得“字节也很值得去体验一次,哪怕不留下来”,之前在前几家公司反而没这么深刻的感悟。如果对各位有帮助的话,求求🥺给朵小红花,有问题可以在评论区交流~
错开的雪季:mark感谢分享
投递字节跳动等公司8个岗位
点赞 评论 收藏
分享
评论
6
68
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务