论文论文论文

1.为什么用责任链模式，有哪些好处, 项目中有没有其他的设计模式？2.mysql 有那些索引？你觉得 innodb 索引为什么用 b+树 而不是红黑树，其他的引擎的索引有了解吗？ 举一个你项目中遇到的使用组合索引的例子，为什么选择这些字段？建立索引的时候选取字段有哪些要注意的？3.消息幂等组件库怎么做的？ 为什么用消息队列？ 除了 rocketmq 其他的有了解吗 ？ 现在有这么一个场景，你刚才讲的本地消息表的 消息 是存在 redis 的， 如果突发流量打垮服务器怎么办，说一个你认为的优化方案？ai 项目：1.为什么做这个项目？你考虑的点在哪里？对自己使用的技术怎么样去了解的，比如向量数据库等（这里自己提的）2.RAG 流程3.embedding 之前的向量化怎么做的有没有了解？项目里面openai 的这个模型的向量化怎么做的（后面这个自己补充的）八股： jvm 的逻辑分区了解过吗？经历过怎么样的变化？g1 和 cms 的区别 ？ 堆区详细的划分知道吗？手撕： 二叉树层序遍历 10 min

1.面试官介绍：做Excel agent，deepresearch，AI搜的研究2.自我介绍（卡顿太多了，得再准备一下）3.问小米那边的工作，encoder的预训练，怎样做拼接4.问腾讯IEG这边的工作，deepresearch的deep是如何体现的（介绍了DMA的tool调用，感觉可以再了解一下多少个tool，SFT的流程5.为什么不直接把tool调用的工具输出后放到prompt里给到LLM？（答工具很多，调用响应时间长，判黑的手段也很多；感觉可以再从监控分析agent，写代码agent上面去拓展，tool方便构造）6.训练时候设置的最大轮次是多少，答3轮，试过5轮但是会出现oov和oom的情况7.发icml那篇论文要如何安排，时间如何安排，实验基本做完了吗，会不会影响业务进展8.反问：是不是发论文的work答：是，资源怎么样：比小米腾讯多

1.介绍自己的项目2.BLEU和ROUGE3.self-attention求内积时为啥除以根号d4.LLM的评估5.介绍下simCSE6.解决tokens不够的问题应该怎么办7.详细介绍下deepspeed（三个stage结合参数回答）8.gpt和llama的区别（模型结构上的）9.PEFT的方式，LORA论文讲一下，对比p-tuning10.LLM训练的时候为什么warmup11.对比学习中的batch size是大一些好还是小一些好13.了解最新技术一般怎么通过什么渠道14.代码题：lc347 前 K 个高频元素

1.八股：NLP和LLM最大的区别是什么？两者有何共同和不同之处？2.八股：激活函数有了解吗，你知道哪些LLM常用的激活函数？为什么选用它？3.八股：开源框架了解过哪些？Qwen，Deepseek的论文是否有研读过，说一下其中的创新点主要体现在哪？4.项目：介绍微调负责的工作，大模型微调最重要的是什么？5.项目：SFT+DPO训练怎么组织这部分数据的？是自己构造还是用公开数据？6.项目：看你做过LoRA微调，那你是怎么选rank值？合并adapter权重的时候有没有遇到梯度爆炸？7.项目：说下LoRA的原理，LoRA是不是只能在Linear层插？为什么不能插在LayerNorm之后？这会对训练稳定性造成什么影响8.项目：刚才提到用过QLoRA，能具体说说QLoRA是怎么降低资源成本吗？9.项目：llm推理效率，如果真的部署到在线系统里，这个效率的问题怎么解决呢10.项目：有没有尝试过模型裁剪？比如 low-rank adaptor、LoRA 融合，或者用Mamba替换部分token path？11.代码题：实现Casual mask的MHA，说下计算复杂度