我将尝试通过学习鞋子来解释这种情况。
如果您使用DBN来学习这些图像,那么这将是您学习算法中会发生的不好的事情
在不同的地方会有鞋子。
所有神经元将不仅尝试学习鞋子,而且还将尝试学习鞋子在图像中的位置,因为它不会在权重中包含“局部图像补丁”的概念。
如果通过大小,平移和旋转对齐所有图像,则DBN有意义。
卷积网络的思想是有一个叫做权重共享的概念。如果我尝试扩展“体重分享”概念
首先,您查看了7x7补丁,并根据您的示例-作为第一层中3个神经元的示例,您可以说他们学习了鞋子的“前”,“后-底部”和“后-上”部分。所有鞋子的7x7补丁看起来都差不多。
通常的想法是要有多个卷积层一个接一个地学习
- 第一层的线/边,
- 第二层的弧线,角
- 较高层中的较高概念,例如鞋前,眼睛,汽车中的车轮或圆锥形三角形,作为原始图元,但仍结合了先前图层的输出。
您可以将我告诉您的这3种不同的事物视为3种不同的神经元。当图像中的某些部位穿鞋时,图像中的此类区域/神经元也会着火。
池化将保护您较高的激活率,同时对图像进行子采样并创建较低维的空间,从而使事情在计算上更加容易和可行。
因此,在最后一层,当您查看25X4x4(即400维矢量)时,如果图片中某处有鞋子,则“鞋子神经元”将处于活动状态,而非鞋子神经元将接近于零。
为了了解哪些神经元适合鞋子,哪些神经元不是鞋子,您可以将400维向量放入另一个监督分类器(这可以是多类SVM或您所说的soft-max-layer)
我可以建议您看一看福岛1980年的论文,以了解我要说的关于平移不变性和直线->弧->半圆->鞋头->鞋的想法( http://www.cs.princeton.edu /courses/archive/spr08/cos598B/Readings/Fukushima1980.pdf )。即使只是看纸上的图像也会给您一些想法。
0
我是神经网络领域的新手,我想知道深度信念网络和卷积网络之间的区别。另外,是否存在由深层信仰和卷积神经网络相结合的深度卷积网络?
这是我到目前为止收集的。如果我错了,请纠正我。
对于图像分类问题, 深度信任网络具有许多层,每层都使用贪婪的逐层策略进行训练。例如,如果我的图像尺寸为50 x 50,并且我想要一个具有4层的深度网络,即
我的输入层将具有50 x 50 = 2500个神经元,HL1 = 1000个神经元(例如),HL2 = 100个神经元(例如),输出层= 10个神经元,以便训练输入层和HL1之间的权重(W1),使用自动编码器(2500-1000-2500)并学习尺寸为2500 x 1000的W1(这是无监督学习)。然后,我将所有图像转发到第一个隐藏层以获取一组特征,然后使用另一个自动编码器(1000-100-1000)获得下一组特征,最后使用softmax层(100-10)进行分类。 (仅学习最后一层的权重(HL2-输出是softmax层)是监督学习)。
(我可以使用RBM代替自动编码器)。
如果使用卷积神经网络解决了相同的问题,那么对于50x50的输入图像,我将仅使用7 x 7补丁开发一个网络(例如)。我的图层是
为了学习权重,我从尺寸为50 x 50的图像中提取了7 x 7色块,并通过卷积层前馈,因此我将拥有25个不同的特征图,每个尺寸为(50-7 + 1)x(50-7) +1)= 44 x 44。
然后,我说一个11x11的窗口用于汇集手,因此获得25个大小为(4 x 4)的要素图作为汇集层的输出。我使用这些特征图进行分类。
在学习权重时,我没有像深度信仰网络(无监督学习)那样使用分层策略,而是使用监督学习并同时学习所有层的权重。这是正确的还是还有其他方法可以学习权重?
我所理解的正确吗?
因此,如果我想使用DBN进行图像分类,则应将所有图像调整为特定大小(例如200x200),并在输入层中包含这么多的神经元,而对于CNN,我只能在较小的图像块上进行训练输入(例如,对于尺寸为200x200的图像,为10 x 10)并将学习到的权重卷积到整个图像上?
DBN是否提供比CNN更好的结果,还是仅依赖于数据集?
谢谢。