B.超强芯片算力下模型执行的挑战: 内存墙问题、交互开销大、数据供给难。部分在 Host 执行,部分在 Device 执行, 交互开销甚至远大于执行开销,导致加速器占用率低
C.MindSpore 通过面向芯片的深度图优化技术,同步等待少,最大化数据计算通 信的并行度,训练性能相比 Host 侧图调度方式持平
D.超强芯片算力下分布式梯度聚合的挑战:ReslNet50 单迭代 20ms 时间时会产生中 心控制的同步开销和频繁同步的通信开销。传统方法需要 3 次同步完成 A11 Reduce, 数据驱动方法自主 A11 Reduce, 无控制开销
第1题
A.MindSpore通过梯度数据驱动的自适应图优化,实现去中心化的自主A11Reduce梯度聚合步调一致,计算与通信充分流水
B.超强芯片算力下模型执行的挑战内存墙问题、交互开销大、数据供给难。部分在Host执行,部分在Device执行交互开销甚至远大于执行开销,导致加速器占用率低
C.MindSpore通过面向芯片的深度图优化技术,同步等待少,最大化“数据计算通”的并行度,训练性能相比Host侧图调度方式持平
D.超强芯片算力下分布式梯度聚合的挑战:ReslNet58单选代26ms时间时会产生中心控制的同步开销和频繁同步的通信开销。传统方法需要3次同步完成A11Reduce,数据驱动方法自主A11Reduce,无控制开销
为了保护您的账号安全,请在“上学吧”公众号进行验证,点击“官网服务”-“账号验证”后输入验证码“”完成验证,验证成功后方可继续查看答案!