是的,按照@sergei的评论,移至v1.0.0即可解决此问题。

mxnet模型并行性的简单示例

共 1 个回答
高赞
时间
活跃
0

新手导航
- 社区规范
- 提出问题
- 进行投票
- 个人资料
- 优化问题
- 回答问题
0
是的,按照@sergei的评论,移至v1.0.0即可解决此问题。
0
关于mxnet的Guon教程中的简单示例对刚刚开始使用mxnet的我们这些人非常有用。到目前为止,还没有一个简单的模型并行性示例。我看到了LSTM的模型并行性示例代码,但是我对mxnet并不陌生,它将帮助我(也许还有其他人)拥有一个更加简化的示例。因此,我通过处理gluon教程中的回归示例,并混入了mxnet.gluon.Trainer中的一些代码,创建了一个模型并行性示例。
但是,我显然弄错了。渐变似乎没有更新。任何人都可以通过找出问题来协助您吗?这里的目标是创建一个线性回归模型,该模型具有三层,每层均位于不同的GPU上。该模型本身没有用,只是作为示例来说明在使用自定义块和命令式编程时如何进行模型并行化的初始化和训练。
据我了解,Trainer()是为数据并行性编写的。它不适用于模型并行性,因为它要求在所有GPU上初始化所有参数。
代码在mytrainer()中的“如果不是data._fresh_grad”测试中失败。输出为:
我可以使用
mx.autograd.get_symbol(error).tojson()
验证计算图仅扩展到gpu(2)上的参数,而不会扩展到其他gpu。