大模型面经 - 阿里国际

1.讲一下项目结构，怎么分层的2.交互流程的核心数据结构讲一下3.用的哪家大模型api?如何考虑的?4.为什么自己写消息队列组件?5.你说轻量化，跟谁对比呢?为什么他们比较重?你做了什么让他轻量化的?6.怎么考虑数据库表的设计的?7.项目为什么使用ddd?8.为什么用mongodb持久化不用mysql?9.讲一讲mongodb存储机制?10.看见你git记录里核心模块有重构，原方案和新方案分别是什么？为什么要重构?11.算法怎么样?(回答算法能力不好，面试官直接说不好就不给你出算法了)12.看一下你云服务器呢?怎么部署的服务的?有考虑被攻击的问题吗？

电商治理面经 第三面三面完就hr面了记录一下面经

大致情况就是  鼠鼠接到了一个关于人工智能微企的电话，过去他们公司那里后，和老板聊了一个小时，然后老板让鼠鼠做他们的   见习生（公司本身应该是正规的，不是外包，通过了我们当地的人才市场的检验，简历也是当时我在人才市场投递的，不过是4月，这个时间点找上我就觉得奇怪老板给我一种       巴不得鼠鼠赶紧去签字的冲动想请教一下各位大佬，这个是有什么新坑吗，说是每个月会给1700的见习生费，之后转正什么的就正常薪资巴拉巴拉的老是感觉那里不对，但鼠鼠确实没见过世面，请问有没有大佬分析一下暂时是计划先去他们的公司体验几天（签字什么的都不签）

1️⃣一面时间：9.12  时长：1hcode：统计岛屿数量、最大岛屿面积，DFS方法解了然后介绍实习项目，面试官非常耐心地听，没有打断八股1.bert和gpt的区别？（从模型架构、训练方式、使用场景方面回答的）2.训练/微调一个LLM的流程？3.实习时用的 megatron 框架吗，对分布式训练框架了解多少？（回答了deepspeed和megatron区别，以及几种并行方式，以及deepspeed的三种zero）4.了解强化学习吗，跟SFT有什么区别？5.反问：业务，对岗位的期望💣评价：有点紧张，算法题有一个小失误没注意到2️⃣二面时间：9.14  时长：1h八股1.写一下 attention 公式（代码实现了下）2.训练时为什么要mask，推理时也需要吗？两处有什么区别？推理时的sequence length和训练时一样吗3.transformer和传统seq2seq模型有什么区别？4.计算attention时为什么要除以d_k，这个d_k的含义是？5.attention计算时还有哪些scale处理？6.attention中softmax函数作用、公式、为什么有减去最大值的处理？换个函数还能这样处理吗？7.解释数值上溢、下溢问题8.讲一下prompt书写的经验，如何判断prompt是否达标，如何改进prompt9.讲一下SFT，会对哪部分计算loss？为什么？10.讲一下deepspeed11.训练用一个7b模型要占用多少显存？不同zero阶段能够节省多少显存？12.训练模型时用了几张卡，有遇到什么异常中断问题吗？反问： 在乎候选人什么能力？对面试表现有哪些改进意见？💣评价： 基础不够扎实，网上有的知识都能回答上来，在同龄人里算比较优秀，欠缺一些多机多卡实践经验。