NLP算法面经12

电商治理面经 第三面三面完就hr面了记录一下面经

八股盛宴（一面）1、常见集合2、线程创建，有何不同3、单核CPU多线程需要加锁吗？那什么时候不用加锁4、如何设置线程池参数，有哪些是CPU密集型的场景5、哈希冲突的理解6、TCP,UDP区别；TCP四次挥手7、http和https区别，http状态码有哪些8、虚拟内存是什么？9、平衡二叉树介绍，不平衡解决过程10、解决死锁问题11、内存泄露怎么排查，用什么工具12、拷打项目。反问：面试结果多久能出，目前这个岗位HC还有吗？

1️⃣一面时间：9.12  时长：1hcode：统计岛屿数量、最大岛屿面积，DFS方法解了然后介绍实习项目，面试官非常耐心地听，没有打断八股1.bert和gpt的区别？（从模型架构、训练方式、使用场景方面回答的）2.训练/微调一个LLM的流程？3.实习时用的 megatron 框架吗，对分布式训练框架了解多少？（回答了deepspeed和megatron区别，以及几种并行方式，以及deepspeed的三种zero）4.了解强化学习吗，跟SFT有什么区别？5.反问：业务，对岗位的期望💣评价：有点紧张，算法题有一个小失误没注意到2️⃣二面时间：9.14  时长：1h八股1.写一下 attention 公式（代码实现了下）2.训练时为什么要mask，推理时也需要吗？两处有什么区别？推理时的sequence length和训练时一样吗3.transformer和传统seq2seq模型有什么区别？4.计算attention时为什么要除以d_k，这个d_k的含义是？5.attention计算时还有哪些scale处理？6.attention中softmax函数作用、公式、为什么有减去最大值的处理？换个函数还能这样处理吗？7.解释数值上溢、下溢问题8.讲一下prompt书写的经验，如何判断prompt是否达标，如何改进prompt9.讲一下SFT，会对哪部分计算loss？为什么？10.讲一下deepspeed11.训练用一个7b模型要占用多少显存？不同zero阶段能够节省多少显存？12.训练模型时用了几张卡，有遇到什么异常中断问题吗？反问： 在乎候选人什么能力？对面试表现有哪些改进意见？💣评价： 基础不够扎实，网上有的知识都能回答上来，在同龄人里算比较优秀，欠缺一些多机多卡实践经验。  

1.介绍下实习主要做什么工作2.项目介绍？项目几个人做的？为什么做这个项目？3.网站文件和图片用什么存储？4.redis整合用户信息说一下，为什么要用redis？5.token存redis压力大怎么办？缓存集中过期采用什么策略？redis宕机丢数据怎么办？通过什么方式保证绝大多数数据存在？6.AOF有什么缺点？AOF继续出问题了怎么办？7.AI扩图为什么要用RabbitMQ？RabbitMQ怎么做流量削峰？8.如果mysql CPU负载高了，你会怎么排查？9.InnoDB 存储引擎是怎么存储数据的？（面试官想问底层，不会，只答了InnoDB作用，后续查AI应该要介绍表空间，页，行，索引，日志恢...