懂车帝推荐算法二面-实习面经

1.过实习和论文2.之前实习用 DeepSpeed 微调过 Qwen2-72B，于是面试官问了 ZeRO-1，ZeRO-2，ZeRO-3 三个模式的区别3.当时你用 DeepSpeed ZeRO-3 来微调 Qwen2-72B，每一张卡占用的显存大概是多少，估算一下为什么是占这么多的显存4.除了 DeepSpeed，还用过其他的什么优化方法吗5.我看你也用到了 LORA，知道 LORA 的原理吗，A和 B两个矩阵怎么初始化，有了解过其他的初始化方法吗6.对 RLHF 了解的多吗7.代码:3.无重复字符的最长子串

笔记地址：https://github.com/jinbooooom/ai-infra-hpc，https://github.com/jinbooooom/OriginDL笔记地址：https://github.com/jinbooooom/ai-infra-hpc，https://github.com/jinbooooom/OriginDL

1.自我介绍2.transformer结构，encoder、decoder的结构，attention的一些3.qwen的架构知不知道4.问项目：项目中qwen的作用是什么5.手撕：共享屏幕写一个数组转化为链表，并且反转链表6.反问环节

我自己在搞 AI Infra/HPC，有两个一直在维护的仓库：一个是用 C++/CUDA 从零写的深度学习框架：OriginDL另一个是工作中一点点积累下来的 AI Infra/HPC 知识地图：ai‑infra‑hpc链接先丢这儿，感兴趣可以先 star 了再说：https://github.com/jinbooooom/OriginDLhttps://github.com/jinbooooom/ai-infra-hpc如果你是刚开始找工作，或者准备投大模型 AI Infra/HPC 方向的岗位，可以把下面这份当成一个「复习清单」：面试高频会围着哪些点打转、我当时是怎么系统整理的、以及怎么用...