大模型面经每日总结 (京东大模型实习)

#大模型# #面经##京东#
1. 基础概念题:什么是大模型核心加速技术中的 “算子融合”?举例说明其作用。
答案要点:
算子融合是将多个连续计算算子合并为一个,减少计算图中的节点数和显存读写次数,降低延迟。
举例:如将 Transformer 中的 Add(残差连接)与 RMSNorm(归一化)融合,减少两次内存访问,提升推理速度。
2. 技术原理题:Flash Attention V2 如何优化注意力计算效率?与 V1 的核心区别是什么?
答案要点:
• V1:通过分块计算注意力,减少显存占用(避免存储所有中间键值对)。
• V2:引入 “内外循环交换策略”,将矩阵乘法的循环顺序调整为更适合 GPU 并行计算的模式,进一步提升计算效率,尤其在长序列场景下加速明显。
3. 量化技术中,FP8、INT4 AWQ、INT4-FP8 AWQ 的适用场景和压缩率有何差异?
4. RAG 系统中,文档切分粒度如何影响检索和生成效果?实际中如何确定最优粒度?

5.在长序列推理场景中,PagedAttention 和 Prefix Caching 分别解决什么问题?如何配合使用?
答案要点:
• PagedAttention:将 KV Cache 分块存储在非连续显存中,避免显存碎片,支持处理超长序列(如百万 Token);
• Prefix Caching:缓存历史对话的 KV 对,跨请求复用,减少重复计算(如多轮对话中复用上文缓存)。
配合逻辑:
PagedAttention 解决显存限制,Prefix Caching 减少计算量,两者结合可提升长对话场景的效率和稳定性。

6. 在企业级推理场景中,如何根据需求选择量化方案?举例说明短文本高并发和长文本场景的优化策略。

实时客服系统用 INT4 量化加速响应;金融报告生成场景用 FP8+PagedAttention 处理数千 Token 输入。
全部评论

相关推荐

各位好,我是客户端劝退第二人。曾经,我也是一名客户端开发,如今则是一名全职滴滴快送骑手,穿梭在这座城市的街头巷尾,靠双手和车轮谋生。看到被暴力裁员的一鸣,勾起了我无数痛苦回忆。沉寂了半年多,我一直在修复自己残破的生活、麻木的心灵和早已偏离航向的人生。如今终于能稍微平静一些,讲讲我自己的故事。2024年7月25日,我被挖到开水团,入职了海外SaaS业务组。在接下来的几个月里,和其他同事不一样,我的主管马某从未与我沟通过试用期目标,似乎我天生就是一届炮灰。前几个月我一直按部就班地完成自己手头的工作,需要加班就默不作声地加班。在这个“以嫡系为中心,长期且有耐心”的工作环境中,我不再是《摩登时代》里的卓别林,而是一条日夜不停的流水线。那时候的我觉得,能忍,还不至于滚的程度。真正的转折点发生在一位从Tiktok跳槽过来的资深研发同事,试用期没通过,被光速离职。这时,压力就落在了我身上。我成为了继任者,作为小组里唯一的客户端开发,一面要完成新的需求开发,一面要解决前人光速离职留下的问题。在有限的时间内,一遍又一遍地让我逆向分析Toast的源代码,写方案、出文档、开发,同时还要遭受质疑、否定、打压和不认可。那是我人生最黑暗、也最酗酒的一段日子。我几乎走遍了杨浦大学城附近所有能叫得上名号的酒吧,试图靠酒精麻痹自己,去抵御职场里的苟且和内心的绝望。在试用期的第六个月,我的主管马某第一次找我谈话,直接表示试用期不会让我通过了,也没说明原因,只是说“不符合预期”,希望我在三天内提离职走。我提出疑问:“没有缓冲期吗?没有赔偿吗?”对方表示越快越好,对我、对团队都是好事,也不存在赔偿这一说。对方同时表示,如果我觉得自己行,也可以在这几天内争取转岗。期间我试图与我们的HRBP杨某沟通。杨某表示,主管马某没有跟我沟通试用期目标,确实是他的问题,但我也没有主动去约他沟通,这是我的主动性不足,需要改进。其次,职级的能力范畴不能只看内部能力模型,要根据实际情况来定。我的主管马某之所以让我承担更高级的工作,是因为对我有所期待,而我也要承担这份期待落空的代价。后来我表示,主动离职需要一个明确的理由,公司应就我是否造成资产损失以及所有相关问题以书面形式通知我,并按照劳动法规章制度处理。但后续进程就是一直没有给我类似文件,只是说我可以去争取转岗。2025年1月14日,我通过内部系统约到一位北京Base的部门主管,约好第二天上午在办公楼一楼会议室面试。面试结束后,杨某问我在哪里、在做什么,我如实告知正在一楼面试间转岗面试。对方立即表示我这是“擅离职守”,因为面试前没有向主管马某报备。2025年1月15日下午,HRBP杨某给我打电话沟通。第一,要么立刻提离职;第二,将单方解除我的劳动合同,并在背景调查中如实告知有劳动纠纷和争议。1月16日下午,我被叫进小会议室,当场收到《违纪行为处理决定》《试用期解除劳动合同通知书》。我明确表示不认同“擅离职守”这一指控,但他们根本不给申辩的机会,收走了设备、权限,草草了事。仲裁时他们更是颠倒黑白,伪造打卡记录证明我某天“擅离职守”,记录里我从三楼出门又从一楼出门,期间消失了两个多小时,时间线漏洞百出。更荒唐的是,公司死咬着我参加的转岗面试不是“同一家公司”的面试,因为该部门属“不同主体”。可面试是通过内部系统预约,地点是公司办公楼,流程也是内部流程,就因为主体不同,我败诉了。我没有像爽文男主那样逆袭。尽管我带着尽可能全的证据去仲裁,依然输得干干净净,甚至还被HRBP和主管践行了“秋后算账”的承诺。之后我几乎每一次背调,都能听到他们在背后释放的负面言论,直接让我在互联网行业彻底被封杀。如今,我依然在一审上诉的路上,看透了职场的人性丑恶、尔虞我诈和利己至上。走出办公室,我选择做一名快送骑手,每天骑车奔波在大街小巷,感受久违的阳光和新鲜空气。我不再迷茫,也不指望奇迹,只想把握当下,凭本事好好活着。这,就是我当下的真实人生。其实到最后,这件事我图的根本就不是赔偿金。那些钱早就不重要了。为了这场官司,我付出的时间、精力、金钱早已远远超过他们本该赔给我的数额。有人笑我不值,有人劝我算了,可我从来不觉得这有什么好笑或者后悔。我要的,是以后别再有哪个兄弟姐妹,在职场里碰上这帮吃人不吐骨头的傻逼领导,明面一套、背后一套,试用期不定目标、不沟通,半年后一句“你不符合预期”就让你滚蛋。我要的,是别再有哪个HR装聋作哑、和稀泥,面对职场PUA、阴阳怪气、打压挤兑的时候,动不动一句“是你主动性不够”“是你自己没去约主管”,站在裁人那一方,跟刽子手一个德性。我要的,是这操蛋的职场里少一点这些傻逼,多一点公道,哪怕只是一点点。
想去北京的鲸鱼在吐槽:是人么,我看的一个叫飞天闪客的up也是在美团被搞强制离职了
点赞 评论 收藏
分享
评论
2
1
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务