半稳开局：有面可冲

过年提前离开，其实很多时候并不需要太多理由。春节本就是一年中最重要的团圆时刻，早点回家陪伴家人、准备年货、感受节日氛围，都是再正常不过的事情。大家心里也都明白，临近过年时工作的节奏会逐渐放缓，人与人之间更多的是理解与体谅，而不是苛求。与其绞尽脑汁想一个“充分”的理由，不如坦诚地表达自己的安排和想法。大多数情况下，只要把手头工作提前安排好、做好交接，提前离开并不会带来太大影响。过年本就是属于家庭和生活的时间，适当地给自己留出空间，反而能让新的一年以更好的状态重新出发。

面了一个多小时，整体感觉还不错，欢迎佬交流～1.zero1232.你有没有实际对比过普通 DDP 和 ZeRO-1？比如 4 卡情况下，把 optimizer state 或 gradient 切成 shard 之后，显存大概能省多少？3.CPU offload4.BF 16 和 FP 165.在 DDP 多卡训练 中，通常一个 epoch 的定义是：所有 GPU 协同遍历一次完整数据集，且每个样本在该 epoch 内只被采样一次。但在实际训练中，我们往往是 按 step 数控制训练与保存 checkpoint 的，比如每 5000 step 保存一次模型，这样 checkpoint 很可能落在 某个 epoch 的中间。在恢复训练时，我们一般可以恢复 model optimizer lr step，但 DataLoader / Sampler 本身是无状态的，不会自动恢复到 epoch 中间的位置。在从一个 epoch 中间的 checkpoint 恢复训练时，有没有办法保证数据采样能够“无缝衔接”，继续完成当前 epoch，而不是重新打乱或重复采样数据？6.当 checkpoint 保存发生在 epoch 中间时，Trainer 是否能正确恢复 DataLoader 的采样状态？如果不能，工程上通常如何保证 resume 后的数据连续性？你是怎么实现的，是否用了 Accelerate或者huggingface 的Trainer7.DDP中当同时涉及 DataLoader 和 Sampler 时，shuffle 应该由哪一层来负责？8.PyTorch 的 DistributedSampler 内部是如何根据 num_replicas 和 rank 生成每个进程各自的数据 index 列表的？它如何在不进行进程间通信的前提下，确保多进程训练时样本划分互不重叠且覆盖完整数据集？9.GQA10.RMSNorm和LN11.在实际训练系统中，从吞吐量和资源利用的角度考虑，tokenization 更合理的放置位置是在 Dataset/DataLoader 阶段，还是作为模型 forward 前的一部分？12.手撕省份数量

前言：二面已经结束，虽然还不知道有没有三面，但是清楚的是还需要努力哇面试题：很多和项目相关，不太好展开讲，抓几个重点说说。问： 如果你要设计一个登入的功能，说说前后端的逻辑：答： 首先前后端分离，前端需要一个登入的UI组件，还需要在提交前验证一下账号、密码等有没有填好,如(是否为空)，然后向后端发送请求，携带前端输入的信息，接着可以在vite配置代理服务器上解决跨域问题，后端接收请求后，与数据链接验证身份，核对密码等(提了一下，如果是注册就得通过hash加密，不能存储明文)，登入成功就可以在后端生产一个token，这个token可以在返回前端后，储存在localstorage上，这样就可以在一...

同花顺：大小周，早9晚6，一般需要加班到八点多好未来：双休，早10晚7，加班相对较少