首页 > 试题广场 >

在大规模分布式训练大型语言模型时，以下哪些技术可以有效解决参

[不定项选择题]

在大规模分布式训练大型语言模型时，以下哪些技术可以有效解决参数同步和通信瓶颈问题？

使用模型并行（Model Parallelism）将模型分割到多个设备上

采用混合精度训练（Mixed Precision Training）减少通信数据量

利用梯度压缩（Gradient Compression）降低通信开销

增加批大小（Batch Size）以减少通信频率

查看答案及解析

牛客108011404号

a不对吧

发表于 2025-07-26 08:59:42 回复(0)

提交观点

问题信息

大模型开发

难度：

1条回答 15收藏 103浏览

扫一扫，把题目装进口袋