1.介绍实习项目，围绕项目问技术细节2.介绍RAG项目，文档类型是什么，对于图片和表格怎么处理3.RAG怎么评估，指标有哪些4.生成模型用的什么，为什么这样选型，有没有对比过其他模型5. QWEN2的架构和训练方式6.SFT数据问题不够多样化怎么办7.怎么构建SFT数据集，数据量多少，微调方式是什么8.项目为什么用GRPO而不是SFT9.介绍一下function calling和MCP10.介绍检索做的优化

1、Attention本质是什么？从向量空间变换角度解释2、多轮对话中Attention如何导致历史信息衰减？3、SFT数据清洗的具体流程？遇到低质量数据怎么处理4、RAG的chunk优化策略有哪些？怎么评估检索相关性5、DPO训练中的梯度爆炸问题如何解决？简历项目深挖：1、多工具调度模块如何解决冲突检测？2、工具调用超时后的降级方案设计3、自主构建的评估数据集规模？bad case分析维度4、微调Qwen时如何设计learning rate scheduler5、Prompt优化模块的A/B测试方案

1.实习介绍2.介绍在之前实习中做过的一个项目3.拷打上面项目的细节，例如为什么要这么分层，分这几个维度打分的原因4.简历上写了PSM模型，问怎么划分处理组和对照组，如何确定这样划分的可靠性5.是否用过抖音电商，如果有一段时间直播间的点击率下降，会怎么分析6.抖音电商和淘宝京东这种电商的异同7.怎么确定给用户发券的金额8.将之前消费过、但30日未消费的用户认为是流失用户，怎么分析这些用户9.反问

一、算法与基础1. 手撕Transformer decoder层代码，要求实现mask机制2. 预训练时为什么要用Masked LM而不是直接预测下一个token？3. 大模型量化中，INT4和FP16的精度损失主要差在哪些场景？怎么弥补？4. 讲一下MoE结构的原理，为什么能在增加参数量的同时控制计算成本？二、项目深挖1. 你做的大模型压缩项目，为什么选择知识蒸馏而不是量化？2. 训练时遇到过loss震荡吗？怎么定位是数据问题还是模型问题？3. 你们的模型部署延迟要求是多少？用了哪些优化手段？4. 如何评估一个生成模型的创造性？有哪些量化指标？三、业务场景题如果让你设计一个垂直领域小模型，数据量有限但要求推理快，完整流程会怎么设计？

1. 项目你感觉你在这个过程中有哪些亮点以及能进行一下总结吗？这个项目的时候，那你有没有达到你们预期？以及有没有还能进行一些改进的点？2. 进程中有一共有哪些状态，以及它这些状态是怎么去流转的？进程和线程有啥区别？3. Java数组、ArrayList和LinkedList有啥区别？HashMap的工作原理？exception 和 error 它的一个区别有啥呀？throw 和 throws 的区别？4. 重定向和转发，forward和redirect两者的区别？5. 介绍一下悲观锁和乐观锁？6. spring 里面bean的生命周期是怎么去创建和消亡的呀？spring bean 的自动生成的一个原理？7. MySQL里面的那个索引的作用是啥呀？它有什么优缺点吗？B+树索引如何实现的呢？ left semi join和 left anti join的区别？count(1), count(*)和count字段的区别？8. 哪些场景是去使用Redis？Redis 和 memcache有啥区别？什么是缓存穿透？以及我们在该怎么去解决呢？ Flink 有用过没有？Hive会出现一些数据倾斜，有了解吗？9. 场景题：给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url10. 算法题：判断是否是回文整数11. SQL题：事件表event表有3个字段event_id：事件id，event_time：事件时间，user_id：用户id。使用SQL查询同一用户两个事件的时间间隔。输出4列：事件ID，事件时间，用户id，时间间隔

1.项目介绍2.实习拷打 40分钟3.竞赛+开源+课题论文 +ai20分钟 例如deepseek训练成本低的原理4.八股 15分钟4.1 5层和7层区别4.2 多出来两层一般是用来干什么4.3 为什么要4次4.4 打开网页发生了什么4.5 tcp和udp区别，面试间用什么协议，怎么知道是什么协议4.6 进程调度算法4.7 死锁原因和怎么解决4.8 磁盘寻道4.9 了解的排序算法4.10 归并时间复杂度4.11 哪些是稳定的排序4.12 java锁4.13 线程安全的hashmap有什么4.14 chw实现原理4.15 了解最新的gc器4.16 jit4.17 graalvm4.18 arraylist和linklist 海量写入删除用什么4.19 b+树4.20 为啥用b+树

1.项目中llm用在哪里了2.rag主要做了什么3.你的rag场景是适老化，给我展开讲讲是老化还有什么东西可以去做4.大模型微调有了解过吗? 没有5.如果你发现大模型输出你并不满意，应该如何调整?6.你在prompt工程和上下文优化中有什么经验吗?7.回到传统后端项目，redis都存了哪些数据8.redis除了存缓存，还能存些什么?9.redis数据结构都有哪些?10.跳表理解，跳表底层原理11.zset为啥用跳表，不用b+树手撕:最简单的一集，简单dp+双线程打印 foobar

1.实习介绍2.材料项目介绍3.数据是怎么构造的4.荣耀实习介绍5.快速排序的核心思想，怎么选轴比较好6.如何解决哈希冲突，如何优化探测法7.transformer中的kv cache8.如何设计上下文可以利用模型的kv cache9.如何处理token过长的问题10.rag的召回重排11.如何设计agent的记忆部分12.平时是怎么学习新的技术的13.最近感兴趣的GitHub仓库14.分享一下对deepseek论文的阅读15.MOE是解决什么问题的16.你后面会考虑荣耀吗？反问:组里目前做的业务（面向商家）还有招人需求吗？（需求多）

大家好，我是花海，B站技术专家，平时会在牛客分享一些面试复盘和技术思考。如果你在准备面试、修改简历，或者对职业规划有疑问，可以找我免费帮你看看简历、聊聊思路。目的是帮大家少走点弯路，今天我们来继续看面经。今天这份面经聚焦于操作系统和Linux底层原理，问题非常经典，从概念辨析到实战排查都有涉及，能系统性地考察候选人的基本功和解决问题的能力。1.Linux平常使用吗？线程和进程的区别，还有什么类似进程和线程的吗？什么是协程？这个问题旨在确认你的开发环境熟悉度，并深入考察对并发核心概念的理解层级。进程是系统资源分配的基本单位，拥有独立的虚拟地址空间、文件描述符等资源，隔离性强但创建和切换开销大。线...

1.自我介绍2.手写 fm 公式3.解释 Ir 为什么不能自动特征交叉4.一个曝光用户从来没有交互信息，怎么过双塔5.写出 moe 的损失函数6.什么样子算自动特征交叉7.写出 Ir 的公式8.代码：二叉树中序遍历📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1.实习介绍2.你项目里用到线程池了对吧?那你说说几个核心参数怎么配的?你是怎么确定核心线程数和队列大小的3.你提到了用线程池处理异步任务，那你们有没有遇到过线程池满了的情况?那这种情况下会发生什么?4.除了你刚才说的用线程池，还有用到哪些并发工具?说说你对lock和synchronized区别的理解5.了解]ava的垃圾回收机制吗?有没有分析过自己项目里的 FulLGC?你是怎么看GC日志定位问题的6.MinorGC频繁你们会怎么看?在你们项目里有没有遇到过YGC抖动但没有触发FGC的情况7.你说你们发券接口慢查询了，那你不是说已经命中索引了吗?那为啥还是慢?你是怎么一步步分析出来问题点的8.讲讲你对覆盖索引的理解9.你用Redis的setnx+expire 实现分布式锁，如果锁被提前删了，另一个线程进来了，造成数据错误怎么办?10.你说你用策略模式做钱包接入，那我现在让你临时加一个xx钱包它的汇率换算规则完全不同，还有一个中间加密逻辑不兼容。你这个策略体系能不能动态扩展11.现在要求你设计一个券模板系统，支持10个钱包，不同语言、不同活动样式、不同过期时间规则，你怎么来设计12.公司要上线一套面向全球商户的 多钱包 NFC 预授权支付系统，比如用户在海外便利店碰一碰刷手机，完成预授权+多币种冻结+结算清算操作。需要支持:多钱包，多币种，多语言/多时区，境内境外结算链路不同，用户支付前是预授权冻结额度，非立即扣款，后台交易 T+1 进行清算入账，用户可以中途取消、修改订单，你怎么来设计13.T+1 清算你会怎么落地?是否要分批结算14.用户发起支付后，触发钱包冻结请求超时，你怎么保障一致性?15.用户下单后隔天取消订单，涉及的冻结金额要解冻、汇率要重算这个流程你怎么设计16.每天凌晨结算任务量激增，结算服务压垮，部分记录没算成功，你怎么来兜底呢17.手撕:实现一个函数，给定一个非空的字符串s，检查是否可以通过由它的一个子串重复多次构成

1，介绍RAG流程；介绍对编码模型的了解、原理、优缺点；如何评估编码模型的能力2，RAG有哪些分类；多模态RAG有哪些实现框架；伪多模态RAG和多模态RAG分别怎么实现，有什么区别；CLIP可以用于哪一类多模态RAG，为什么3，RAG怎么评估，RAG评估体系中最重要的是什么4，传统RAG有什么痛点；介绍GraphRAG，GraphRAG的难点是什么；GraphRAG如何应对增量场景5，介绍微调负责的工作；大模型微调最重要的是什么6，后训练有哪些方式；微调有哪些方式，分别是怎么做的；LoRA原理及参数量7，介绍DPO；DPO与PPO的区别8，介绍一些Agent的实现框架；这些框架有什么区别；LangGraph适用于什么场景；LangGraph构建Agent的方式有哪几种9，场景题：客户输入一个软件或网页界面截图，如何通过RAG的方式帮助用户了解界面的每一个组件的作用（？？？说实话没太听懂），输入输出自己定义；相似的组件如图片框和视频框如何区分10，算法题：2n+1个数，两两成对，找出单独的那个数11，反问

1.介绍自己的项目2.BLEU和ROUGE3.self-attention求内积时为啥除以根号d4.LLM的评估5.介绍下simCSE6.解决tokens不够的问题应该怎么办7.详细介绍下deepspeed（三个stage结合参数回答）8.gpt和llama的区别（模型结构上的）9.PEFT的方式，LORA论文讲一下，对比p-tuning10.LLM训练的时候为什么warmup11.对比学习中的batch size是大一些好还是小一些好13.了解最新技术一般怎么通过什么渠道14.代码题：lc347 前 K 个高频元素

📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1．首先是自我介绍和过项目，面试官还一起探讨项目用到的方法，可行性之类的2．介绍一下 CLIP3．了解 LoRA 吗， LoRA 微调的原理是什么4．了解哪些多模态大模型，简要介绍几个5.BLIP的三个损失函数分别是什么，数据是怎样清洗的6.BLIP2相对于 BLIP 有哪些改进，BLIP3又有哪些改进7.Qwen- VL 的三个训练流程分别是什么，有什么作用8．视觉编码器和 LLM 连接时，使用BLIP2中 Q - Former 那种复杂的 Adaptor 好还是 LLaVA 中简单的 MLP 好，说说各自的优缺点9．代码：实现多头自注意力一面比较常规，几乎都是八股问题，只要了解常见的多模态大模型都问题不大，主要还是要理解各个模型设计的动机是什么，这也是面试最喜欢考察的

1. 实习介绍2. 挑一个你最熟悉的大模型项目，讲讲它的目标，你主要负责什么，以及你觉得最有意思的技术点。3. 在Transformer的Decoder里，我们为什么需要用Mask把未来的信息“遮住”？从代码实现上讲，这个Mask具体是怎么作用在Self-Attention分数上的？4. 关于LayerNorm放在残差连接的“前面”还是“后面”（Pre-LN vs Post-LN），社区里有很多讨论。这两种设计选择，主要会影响训练过程的哪些方面？你更倾向于哪一种，为什么？5. 我们要在线上部署一个大模型提供服务，推理速度和吞吐量是个大问题。像vLLM这样的工具，它主要是通过什么核心思想（比如PagedAttention）来解决KV Cache的内存问题，从而提升推理效率的？6. 我们有一个基础模型，但它不太会“听人话”。如果想把它训练成一个能很好遵循指令的聊天助手，通常有几步？能简单说说SFT（监督微调）和基于人类反馈的对齐（比如PPO/DPO）分别是在解决什么问题吗？7. 假设我们有一个效果很好的70B大模型，但因为太大太慢，没法直接上线。现在需要你把它“变小变快”。你会考虑用哪些方法（比如剪枝、量化）？各自有什么优缺点？8. 相比于让大模型直接回答问题，现在很流行的RAG（检索增强生成）方案，它最大的好处是什么？主要解决了什么痛点？9. 我们的RAG系统上线后，发现有时候还是会“胡说八道”，或者答非所问。如果让你去排查，你会从哪些方面入手？（比如是检索模块没找对，还是生成模块没理解好？）10. 核心代码模式算法题：二叉树的中序遍历11. 反问

1.自我介绍完问基本情况，是否保研，大四时间是否充足等等2.问项目，面试官说对我简历上一个项目不了解，让我先介绍一下这个东西，然后提出了自己的一些疑问，包括实际应用中可能遇到的问题以及要如何解决3.问实习，主要围绕应用的场景、Agent Memory优化手段、幻觉问题如何解决，还让我讲了实习中最值得说的工作4.没有八股题5.手撕:第一题做过但忘了，只记得要双指针，具体指针怎么移动给忘了，第二题没有怎么学过LRU所以有三题 T T(1)给了一个整数数组和目标值target，如何找到数组中相加之和为target的两个数(2)写一个LRUCache的队列，实现get和put函数

1.实习介绍+电商核心项目(比如商品订单模块)2.大促时怎么根据实时销量/库存动态调商品价格?(规则引擎+Redis)3.秒杀场景防超卖，对比Redis+Lua、数据库乐观锁、分布式锁的优劣。4.订单服务大促频繁FuLLGC，怎么用G1参数优化?5.商品详情页怎么用多级缓存(Caffeine+Redis+CDN)防缓存雪崩?6.亿级订单表怎么通过分库分表+索引优化查询速度?7.订单ID选雪花、Leaf还是UUID?说理由。8.怎么根据实时用户访问量动态调整商品推荐优先级?((Redis统计+推荐引擎9.淘宝抢购场景，对比Redis+Lua、DB行锁防超卖的好坏。10.大促时商品服务GC卡顿，G1怎么调参数?11.商品搜索缓存失效，多级缓存怎么防数据库被打垮?12.超大规模用户表怎么分库分表+索引优化查用户信息?13.淘宝物流单号怎么选分布式ID方案?

1.实习介绍和过项目2.Qwen- VL 的三个训练流程分别是什么，有什么作用介绍一下 CLIP3.后来有哪些比较经典的基于 Transformer 的语言模型， Qwen 相比于原始 Transformer 有哪些结构上的改动4.了解 RLHF 吗， DPO 和 PPO 有什么区别， Loss 是什么样的，各自的优缺点是什么5.了解哪些多模态大模型，简要介绍几个6.了解 LoRA 吗， LoRA 微调的原理是什么7.对PPO DPO GRPO计算逻辑的理解8.代码：实现多头自注意力