拼多多大模型算法实习一面

被横向挂了，希望发出来对大家有帮助！1.实习拷打2.项目拷打3.unet最重要的组件4.transformer原理5.为什么除以根号d6.lora细节7.什么场景下更适合lora8.最近遇到的最大的困难是什么 怎么解决的9.手撕 leetcode 82

1、自我介绍2、简单聊下实习干了什么 ,解决了什么问题3、讲讲什么是 RAG，结合你做过的企业知识库问答系统讲一下 RAG 调用的全流程RAG 是 Retrieval-Augmented Generation，也就是检索增强生成。它的核心思想是先从外部知识库中检索相关内容，再把检索结果作为上下文交给大模型生成答案，这样可以降低模型只依赖参数知识带来的时效性和幻觉问题。以企业知识库问答系统为例，完整流程一般是用户输入问题之后，系统先做 query 预处理，比如纠错、改写、意图识别和关键词提取，然后进入召回阶段，从向量库、全文检索或者混合检索系统里找出候选文档；候选文档出来后再做 rerank 重...

拼尽全力无法战胜第一题签到第二题数论第三题切割数组，我还是不明白为什么不能a，数都是正整数，不是只有一种切法吗第四题ok啊我也是直接不看

发点面经攒攒人品～八股1.写一下 attention 公式2.训练时为什么要mask，推理时也需要吗？两处有什么区别？推理时的sequence length和训练时一样吗3.transformer和传统seq2seq模型有什么区别？4.计算attention时为什么要除以d_k，这个d_k的含义是？5.attention计算时还有哪些scale处理？6.attention中softmax函数作用、公式、为什么有减去最大值的处理？换个函数还能这样处理吗？7.解释数值上溢、下溢问题8.讲一下prompt书写的经验，如何判断prompt是否达标，如何改进prompt9.讲一下SFT，会对哪部分计算loss？为什么？10.讲一下deepspeed11.训练用一个7b模型要占用多少显存？不同zero阶段能够节省多少显存？12.训练模型时用了几张卡，有遇到什么异常中断问题吗？