DeepSpeed v0.18.6发布:修复关键并发问题,全面支持Python 3.14,性能更稳定更智能!✅ 版本号更新版本文件已同步到 0.18.6,确保用户可以准确获取最新版本信息,版本管理更加规范。⚙️ 并发与模块优化本次更新修复了 leaf 模块的竞态条件问题,进一步提升了模型在高并发环境下的稳定性。同时,这意味着在分布式训练过程中,模块之间的同步与数据安全性得到了更好保障。🧠 推理阶段优化在 模型评估(eval) 阶段,系统将 跳过序列并行操作,显著减少无效计算,进一步优化了推理效率。这一改动对大模型推理特别友好,尤其是资源有限的推理部署场景。🔧 AutoTP智能分区增强此次版本还新增了 AutoTP的自定义分区模式支持,并修复了 AutoTP自定义模式中未正确遵循use_default_specs参数 的问题。这让用户能够更加灵活地定义Tensor分区策略,从而在不同硬件架构下获得最优性能表现。📈 训练稳定性改进修复了 Gradient is ready with z2 的梯度计算问题,并修正了 在ZeRO stage 0配置下,bf16梯度范数发散的问题,显著提升了混合精度训练的收敛稳定性。这对使用ZeRO优化的超大模型训练尤为关键。🧩 Python 3.14兼容性更新DeepSpeed v0.18.6全面 支持Python 3.14的新注解处理机制,为未来Python版本的适配铺平道路,开发者可放心升级Python环境。🧮 函数库更新用 math.gcd 替代了已弃用的 fractions.gcd,保持代码兼容性与标准化,确保长远维护更轻松。⚡ 性能改进:JIT替换为编译模式本次更新将 torch.jit.script 替换为 torch.compile,充分利用PyTorch新一代的编译优化能力,提升执行效率的同时简化模型编译部署流程。