首页 > 试题广场 >

在Flash-Attention v2中,将序列并行度(se

[单选题]
在Flash-Attention v2中,将序列并行度(sequence parallel)从1提升到4,理论上总显存占用
  • 降至1/2
  • 降至1/4
  • 几乎不变
  • 增加4倍

这道题你会答吗?花几分钟告诉大家答案吧!