过年提前离开，其实很多时候并不需要太多理由。春节本就是一年中最重要的团圆时刻，早点回家陪伴家人、准备年货、感受节日氛围，都是再正常不过的事情。大家心里也都明白，临近过年时工作的节奏会逐渐放缓，人与人之间更多的是理解与体谅，而不是苛求。与其绞尽脑汁想一个“充分”的理由，不如坦诚地表达自己的安排和想法。大多数情况下，只要把手头工作提前安排好、做好交接，提前离开并不会带来太大影响。过年本就是属于家庭和生活的时间，适当地给自己留出空间，反而能让新的一年以更好的状态重新出发。

面了一个多小时，整体感觉还不错，欢迎佬交流～1.zero1232.你有没有实际对比过普通 DDP 和 ZeRO-1？比如 4 卡情况下，把 optimizer state 或 gradient 切成 shard 之后，显存大概能省多少？3.CPU offload4.BF 16 和 FP 165.在 DDP 多卡训练 中，通常一个 epoch 的定义是：所有 GPU 协同遍历一次完整数据集，且每个样本在该 epoch 内只被采样一次。但在实际训练中，我们往往是 按 step 数控制训练与保存 checkpoint 的，比如每 5000 step 保存一次模型，这样 checkpoint 很可能落在 某个 epoch 的中间。在恢复训练时，我们一般可以恢复 model optimizer lr step，但 DataLoader / Sampler 本身是无状态的，不会自动恢复到 epoch 中间的位置。在从一个 epoch 中间的 checkpoint 恢复训练时，有没有办法保证数据采样能够“无缝衔接”，继续完成当前 epoch，而不是重新打乱或重复采样数据？6.当 checkpoint 保存发生在 epoch 中间时，Trainer 是否能正确恢复 DataLoader 的采样状态？如果不能，工程上通常如何保证 resume 后的数据连续性？你是怎么实现的，是否用了 Accelerate或者huggingface 的Trainer7.DDP中当同时涉及 DataLoader 和 Sampler 时，shuffle 应该由哪一层来负责？8.PyTorch 的 DistributedSampler 内部是如何根据 num_replicas 和 rank 生成每个进程各自的数据 index 列表的？它如何在不进行进程间通信的前提下，确保多进程训练时样本划分互不重叠且覆盖完整数据集？9.GQA10.RMSNorm和LN11.在实际训练系统中，从吞吐量和资源利用的角度考虑，tokenization 更合理的放置位置是在 Dataset/DataLoader 阶段，还是作为模型 forward 前的一部分？12.手撕省份数量

说到AI相关的项目的话，我第一个反应就是小智，这个项目非常有意思，而且并不是特别难，只要大家有单片机相关的基础以及会使用AI工具，我觉得花一些时间都是可以做出来的，还是非常有趣的。

最拉的mentor我见过。把我扔给一个祖传系统，就说了句“代码都在里面，自己看吧，不懂问我”，然后他基本就没出现过。唯一一次主动找我，是派了个急活，我卡住了去问他，他回我一句“这么简单都不会？百度啊”。后来我摸索了两个月才搞明白，结果人家在周报里写“指导新人完成系统重构”，我人都傻了。