大模型算法实习二面 携程

面试很难，还是要多多练习，感觉自己说不明白业务逻辑1.问论文2.项目深挖3.attention结构4.gpt12的结构5.Llamma12的结构6.Deepseekv2 v3 r1 r1 zero的结构和训练过程7.探讨moe技术细节以及未来发展的困境8.一道业务题

基础面试环节1. 自我介绍（这部分根据个人情况准备）2. 实习/项目经历介绍（根据简历准备，重点突出技术栈和解决的问题）3. 项目中遇到的最大技术挑战是什么，如何解决的答案框架：描述问题背景和影响分析问题原因（技术深度）解决方案和实施过程最终效果和收获示例：多线程下的数据竞争导致偶现崩溃使用AddressSanitizer定位加读写锁保护共享数据重构为无锁设计（原子操作）崩溃率降为0，性能提升20%4. 平时代码量如何，有参与过开源项目吗答案思路：说明日常编码习惯（每天/每周代码量）提及个人项目或开源贡献强调代码质量而非数量展示对技术的热情项目深挖5. 你的网络库项目中，如何实现高并发连接管理...

继续来分享下之前的面经~欢迎友好讨论，信息共享1. 实习拷打2.项目1拷打3.项目2拷打4. 你们画像里有很多隐性标签，这种标签本身没有显式真值，你们一开始是怎么想到用大模型来做这件事的？5. 传统规则、统计方法、分类模型其实也能做一部分标签，为什么你们最后会觉得一定要引入LLM来做6. 你这个Prompt Engineering项目里，我比较好奇的一点是，为什么一定要先做token压缩？如果不压缩，具体会有什么问题7. 你说你们把原始行为明细压缩成高密度特征，那这个过程里你怎么判断哪些信息该保留、哪些信息该删？万一删掉了关键行为怎么办？8. 你们为什么会把高频到访、强行为强度的信息放在前面？9. 你提到按主题域去做Semantic Grouping比如把消费类标签放一起，这个事情为什么会提升效果？10. 既然分组这么有效，那消费和出行之间明明也有关系，比如高消费人群可能更常打车、更常住高端酒店，那你把它们拆开之后，会不会反而丢掉跨域关联11. 你们这个Prompt里为什么“禁止做什么”会比“要求做什么”更有效？这个结论是怎么得出来的，有没有比较具体的Bad Case可以举一下12. 你们要求模型输出严格的JSON格式，这种工程化约束听起来很强，那模型最常犯的错是什么13. 如果模型输出里经常出现幻觉或者格式错误，你们是怎么一点点把它调到可上线状态的？中间有没有经历过那种离线看着还行、线上一跑全崩的情况？14. 你们这里有很多标签是没有Ground Truth的，那这种情况下你怎么证明“模型打出来的标签是靠谱的”15.你提到会用Proxy Metric去评估，那你们当时是怎么设计这些代理指标的？16.你说DeepSeek R1比其他模型更适合这个任务，那你们当时有实际对比过Qwen）、Llama吗？具体差异体现在哪，为什么R1更适合做这种标签推理？

我还记得24年研究RAG的时候，压根没有想到，后来技术的发展，大模型的上下文能长成现在这个样，而且随着技术进一步发展，其实Memory的加入确实能让Agent的上下文能力变得很强，但真当面试时如果被问到这个问题，你得清楚，其实是一个非常典型的面试陷阱。（我准备的答案在文末）为什么这么说？如果你跟风回答“会”，面试官很容易判断你缺乏工程落地经验，也没有真正考虑过成本问题。但如果你回答“不会”，面试官往往又会继续追问：既然不会，那现在模型拼命把上下文窗口做到几百万Token，难道方向错了吗？RAG还有存在的必要吗？你会觉得，这道题似乎怎么回答都不对：说“会”，显得外行；说“不会”，又像是在否定技术...