Adam优化器的权重衰减应该如何正确实施？
由于Adam优化器会为梯度保留一对运行平均数，例如均值/方差，因此我想知道它应该如何正确处理权重衰减。我看到了两种实现方式。 仅根据目标损失从梯度中更新均值/方差，每个小批量明确地衰减权重。(以下代码摘自https://github.com/dmlc/mxnet/blob/v0.7.0/py...
深度学习的并行化策略
什么样的并行化策略和形式可用于训练和服务神经网络？： - 在机器内部跨核心（例如GPU/TPU/CPU） - 在网络或机架上跨多台机器 我还在寻找证据，了解它们如何在TensorFlow、PyTorch或MXNet等框架中使用。 训练： 据我所知，在训练大型数据集上的大型神经网络时，可...
深度神经网络训练时，准确率突然下降
我正在使用mxnet训练一个11类图像分类器。我发现一个奇怪的现象，训练准确率缓慢地提高到39%，在下一个迭代中降至9%，然后保持在接近9%的水平上直到训练结束。我使用保存的模型（训练准确率为39%）重新开始训练，保持其他参数不变。现在训练准确率再次提高。这种情况的原因是什么？我无法理解。而且...
如何通过深度神经网络提高验证准确性？
我正在尝试使用13000张训练图像和3000张验证图像构建一个11类图像分类器。我正在使用mxnet训练深度神经网络。训练准确率不断提高，已经达到80%以上，但验证准确率只在54-57%之间，并且没有增长。 这里可能有什么问题？我应该增加图像数量吗？
Nvidia GPU内存已分配，但没有任何进程使用？
我在尝试解决新脚本中的一些错误时经常重新运行相同的 mxnet 脚本（而且我对 mxnet 不熟悉）。在运行脚本时，经常会出现 GPU 内存不足的错误，当我使用 nvidia-smi 进行检查时，看到的就是这个： Wed Dec 5 15:41:29 2018 +-------------...
有没有一种方法可以检查mxnet是否使用了我的GPU？
我可以查看mxnet可用的GPU吗？ TensorFlow是否有类似的功能？tf.test.gpu_device_name() 在mxnet中？
最大化TensorFlow多GPU性能
我想知道有没有人能够给出关于如何在4个GPU设置中获得tensorflow最佳性能的建议。作为一个测试，我创建了两个相同的网络（18层残差网络，使用小型滤波器组（范围从16-128）在32x32的输入上。批量大小512，每个GPU 128）。一个在MXNet中，另一个是基于inception示...
为什么深度学习库如此庞大？
我最近从PyPI上下载了所有软件包。有一个有趣的观察结果是在最大的15个软件包中，除了一个之外，其他全部都是深度学习软件包： mxnet: mxnet-cu90 (600 MB), mxnet-cu92, mxnet-cu101mkl, mxnet-cu101 （以及其他6个不同版本的mx...
scikit-learn、keras、tensorflow和mxnet中保存机器学习模型的所有格式是什么？
有很多种方法可以保存模型和它的权重。当有这么多种方式时，没有任何来源可以让我们阅读并比较它们的属性，这样会很令人困惑。 我知道的一些格式有： 1. YAML 文件 - 仅包含结构 2. JSON 文件 - 仅包含结构 3. H5 完整模型 - Keras 4. H5 仅包含权重 - Kera...
如何使用矩阵和矩阵运算在MXNet中构建模型？
我可以使用预构建的高级功能，例如FullyConnected来创建模型。例如：X = mx.sym.Variable('data') P = mx.sym.FullyConnected(data = X, name = 'fc1', num_hidden = 2) 通过这种方式，我得到一个依...