深度信念网络与卷积神经网络
computer-vision
machine-learning
neural-network
6
0

我是神经网络领域的新手,我想知道深度信念网络和卷积网络之间的区别。另外,是否存在由深层信仰和卷积神经网络相结合的深度卷积网络?

这是我到目前为止收集的。如果我错了,请纠正我。

对于图像分类问题, 深度信任网络具有许多层,每层都使用贪婪的逐层策略进行训练。例如,如果我的图像尺寸为50 x 50,并且我想要一个具有4层的深度网络,即

  1. 输入层
  2. 隐藏第1层(HL1)
  3. 隐藏第2层(HL2)
  4. 输出层

我的输入层将具有50 x 50 = 2500个神经元,HL1 = 1000个神经元(例如),HL2 = 100个神经元(例如),输出层= 10个神经元,以便训练输入层和HL1之间的权重(W1),使用自动编码器(2500-1000-2500)并学习尺寸为2500 x 1000的W1(这是无监督学习)。然后,我将所有图像转发到第一个隐藏层以获取一组特征,然后使用另一个自动编码器(1000-100-1000)获得下一组特征,最后使用softmax层(100-10)进行分类。 (仅学习最后一层的权重(HL2-输出是softmax层)是监督学习)。

(我可以使用RBM代替自动编码器)。

如果使用卷积神经网络解决了相同的问题,那么对于50x50的输入图像,我将仅使用7 x 7补丁开发一个网络(例如)。我的图层是

  1. 输入层(7 x 7 = 49个神经元)
  2. HL1(25个神经元代表25种不同特征)-(卷积层)
  3. 池化层
  4. 输出层(Softmax)

为了学习权重,我从尺寸为50 x 50的图像中提取了7 x 7色块,并通过卷积层前馈,因此我将拥有25个不同的特征图,每个尺寸为(50-7 + 1)x(50-7) +1)= 44 x 44。

然后,我说一个11x11的窗口用于汇集手,因此获得25个大小为(4 x 4)的要素图作为汇集层的输出。我使用这些特征图进行分类。

在学习权重时,我没有像深度信仰网络(无监督学习)那样使用分层策略,而是使用监督学习并同时学习所有层的权重。这是正确的还是还有其他方法可以学习权重?

我所理解的正确吗?

因此,如果我想使用DBN进行图像分类,则应将所有图像调整为特定大小(例如200x200),并在输入层中包含这么多的神经元,而对于CNN,我只能在较小的图像块上进行训练输入(例如,对于尺寸为200x200的图像,为10 x 10)并将学习到的权重卷积到整个图像上?

DBN是否提供比CNN更好的结果,还是仅依赖于数据集?

谢谢。

参考资料:
Stack Overflow
收藏
评论
共 2 个回答
高赞 时间 活跃

我将尝试通过学习鞋子来解释这种情况。

如果您使用DBN来学习这些图像,那么这将是您学习算法中会发生的不好的事情

  • 在不同的地方会有鞋子。

  • 所有神经元将不仅尝试学习鞋子,而且还将尝试学习鞋子在图像中的位置,因为它不会在权重中包含“局部图像补丁”的概念。

  • 如果通过大小,平移和旋转对齐所有图像,则DBN有意义。

卷积网络的思想是有一个叫做权重共享的概念。如果我尝试扩展“体重分享”概念

  • 首先,您查看了7x7补丁,并根据您的示例-作为第一层中3个神经元的示例,您可以说他们学习了鞋子的“前”,“后-底部”和“后-上”部分。所有鞋子的7x7补丁看起来都差不多。

    • 通常的想法是要有多个卷积层一个接一个地学习

      • 第一层的线/边,
      • 第二层的弧线,角
      • 较高层中的较高概念,例如鞋前,眼睛,汽车中的车轮或圆锥形三角形,作为原始图元,但仍结合了先前图层的输出。
    • 您可以将我告诉您的这3种不同的事物视为3种不同的神经元。当图像中的某些部位穿鞋时,图像中的此类区域/神经元也会着火。

    • 池化将保护您较高的激活率,同时对图像进行子采样并创建较低维的空间,从而使事情在计算上更加容易和可行。

    • 因此,在最后一层,当您查看25X4x4(即400维矢量)时,如果图片中某处有鞋子,则“鞋子神经元”将处于活动状态,而非鞋子神经元将接近于零。

    • 为了了解哪些神经元适合鞋子,哪些神经元不是鞋子,您可以将400维向量放入另一个监督分类器(这可以是多类SVM或您所说的soft-max-layer)

我可以建议您看一看福岛1980年的论文,以了解我要说的关于平移不变性和直线->弧->半圆->鞋头->鞋的想法( http://www.cs.princeton.edu /courses/archive/spr08/cos598B/Readings/Fukushima1980.pdf )。即使只是看纸上的图像也会给您一些想法。

收藏
评论

一般而言,DBN是生成神经网络,将限制的玻尔兹曼机器(RBM)堆叠在一起。您可以将RBM视为生成式自动编码器;如果您想要一个深层的信念网,则应该堆叠RBM,而不是简单的自动编码器,因为Hinton和他的学生Yeh证明了堆叠RBM会产生S型信念网。

在当前有关基准计算机视觉数据集(例如MNIST)的文献中,卷积神经网络的性能优于DBN。如果数据集不是计算机视觉的,那么DBN绝对可以表现更好。从理论上讲,DBN应该是最好的模型,但是目前很难准确估计联合概率。您可能对Lee等感兴趣。等人(2009)在卷积深度信念网络上的工作,希望将两者结合起来。

收藏
评论
新手导航
  • 社区规范
  • 提出问题
  • 进行投票
  • 个人资料
  • 优化问题
  • 回答问题

关于我们

常见问题

内容许可

联系我们

@2020 AskGo
京ICP备20001863号