Keras输入说明:input_shape,units,batch_size,dim等
deep-learning
keras
keras-layer
neural-network
23
0

对于任何Keras图层( Layer类),有人可以解释如何理解input_shapeunitsdim等的区别吗?

例如,文档说units指定图层的输出形状。

在神经网络的图像中, hidden layer1具有4个单位。这是否直接转换为Layer对象的units属性?还是Keras中的units等于隐藏层中每个权重的形状乘以单位数量?

简而言之,如何利用下面的图像来了解/可视化模型的属性,尤其是图层的属性? 在此处输入图片说明

参考资料:
Stack Overflow
收藏
评论
共 2 个回答
高赞 时间 活跃

单位:

“神经元”或“细胞”的数量,或其中内部任何层的数量。

它是每一层的属性,是的,它与输出形状有关(我们将在后面看到)。在图片中,除了输入层(在概念上与其他层不同)之外,您具有:

  • 隐藏层1:4个单位(4个神经元)
  • 隐藏层2:4个单位
  • 最后一层:1个单位

形状

形状是模型配置的结果。形状是元组,表示每个维度中数组或张量具有多少个元素。

例如:形状(30,4,10)表示具有3个维度的数组或张量,其中第一个维度包含30个元素,第二个维度包含4个元素,第三个维度包含10个元素,总计30 * 4 * 10 = 1200个元素或数字。

输入形状

层之间流动的是张量。张量可以看作是具有形状的矩阵。

在Keras中,输入层本身不是层,而是张量。它是您发送到第一个隐藏层的起始张量。该张量必须与您的训练数据具有相同的形状。

例如:如果您有30张RGB像素为50x50的图像(3通道),则输入数据的形状为(30,50,50,3) 。然后,您的输入层张量必须具有此形状(请参见“ keras中的形状”部分中的详细信息)。

每种类型的层都需要输入一定数量的尺寸:

  • Dense层需要输入为(batch_size, input_size)
    • (batch_size, optional,...,optional, input_size)
  • 2D卷积层需要以下输入:
    • 如果使用channels_last(batch_size, imageside1, imageside2, channels)
    • 如果使用channels_first :( (batch_size, channels, imageside1, imageside2)
  • 一维卷积和循环图层的使用(batch_size, sequence_length, features)

现在,输入形状是您必须定义的唯一形状,因为您的模型无法知道它。根据您的训练数据,只有您知道这一点。

所有其他形状都是根据每层的单位和特殊性自动计算的。

形状和单位之间的关系-输出形状

给定输入形状,所有其他形状都是图层计算的结果。

每层的“单位”将定义输出形状(由该层产生的张量的形状,并将其作为下一层的输入)。

每种类型的层都以特定方式工作。密集层具有基于“单位”的输出形状,卷积层具有基于“过滤器”的输出形状。但是它总是基于某些图层属性。 (有关每层输出的信息,请参见文档)

让我们展示一下“密集”图层(图表中显示的类型)会发生什么。

致密层的输出形状为(batch_size,units) 。因此,是的,单位(图层的属性)也定义了输出形状。

  • 隐藏层1:4个单位,输出形状: (batch_size,4)
  • 隐藏层2:4个单位,输出形状: (batch_size,4)
  • 最后一层:1个单位,输出形状: (batch_size,1)

重物

权重将完全根据输入和输出形状自动计算。同样,每种类型的层都以某种方式起作用。但是权重将是一个能够通过某种数学运算将输入形状转换为输出形状的矩阵。

在密集层中,权重将所有输入相乘。它是一个矩阵,每个输入一列,每个单位一行,但这对于基本工作通常并不重要。

在图像中,如果每个箭头上都有一个乘法数字,则所有数字共同构成权重矩阵。

凯拉斯的形状

之前,我给出了一个30幅图像,50x50像素和3个通道的示例,其输入形状为(30,50,50,3)

由于输入形状是您唯一需要定义的形状,因此Keras会在第一层中要求它。

但是在此定义中,Keras忽略了第一维,即批量大小。您的模型应该能够处理任何批量,因此您只能定义其他尺寸:

input_shape = (50,50,3)
    #regardless of how many images I have, each image has this shape        

可选地,或者当某些类型的模型需要它时,您可以通过batch_input_shape=(30,50,50,3)batch_shape=(30,50,50,3)传递包含批次大小的形状。这将您的培训可能性限制在这种独特的批次大小上,因此仅应在真正需要时使用。

无论选择哪种方式,模型中的张量都将具有批次尺寸。

因此,即使您使用input_shape=(50,50,3) ,当keras发送消息或打印模型摘要时,它也会显示(None,50,50,3)

第一个维度是批量大小,它是None因为它可以根据您提供的培训示例数量而变化。 (如果您明确定义了批量大小,那么将显示您定义的数字,而不是None

同样,在高级作品中,当您直接在张量上实际运行时(例如,在Lambda层内部或在损失函数中),批次大小尺寸将存在。

  • 因此,在定义输入形状时,可以忽略批处理大小: input_shape=(50,50,3)
  • 直接在张量上执行操作时,形状将再次(30,50,50,3)
  • 当keras向您发送消息时,形状将为(None,50,50,3)(30,50,50,3) ,具体取决于发送给您的消息类型。

暗淡

最后, dim什么?

如果输入形状只有一维,则无需将其作为元组给出,而将input_dim作为标量数给出。

因此,在模型中,输入层具有3个元素,可以使用以下两个元素中的任何一个:

  • input_shape=(3,) -只有一维时必须使用逗号
  • input_dim = 3

但是,当直接处理张量时, dim通常指的是张量有多少个维度。例如,形状为(25,10909)的张量具有2个维度。


在Keras中定义图像

Keras有两种实现方式,即Sequential模型或功能性API Model 。我不喜欢使用顺序模型,以后您将不得不忘记它,因为您将需要带有分支的模型。

PS:这里我忽略了其他方面,例如激活功能。

使用顺序模型

from keras.models import Sequential  
from keras.layers import *  

model = Sequential()    

#start from the first hidden layer, since the input is not actually a layer   
#but inform the shape of the input, with 3 elements.    
model.add(Dense(units=4,input_shape=(3,))) #hidden layer 1 with input

#further layers:    
model.add(Dense(units=4)) #hidden layer 2
model.add(Dense(units=1)) #output layer   

使用功能性API模型

from keras.models import Model   
from keras.layers import * 

#Start defining the input tensor:
inpTensor = Input((3,))   

#create the layers and pass them the input tensor to get the output tensor:    
hidden1Out = Dense(units=4)(inpTensor)    
hidden2Out = Dense(units=4)(hidden1Out)    
finalOut = Dense(units=1)(hidden2Out)   

#define the model's start and end points    
model = Model(inpTensor,finalOut)

张量的形状

请记住,在定义图层时,请忽略批处理大小:

  • inpTensor :( (None,3)
  • hidden1Out :( (None,4)
  • hidden2Out :( (None,4)
  • finalOut :( (None,1)
收藏
评论

输入尺寸说明如下:

这不是一个直接的答案,但我刚刚意识到“输入维度”一词可能会令人困惑,因此请注意:

它(仅单词一词)可以指代:

a) 输入数据(或流的维度,例如#N个传感器轴以发出时间序列信号,或RGB颜色通道(3):建议字=>“ InputStream Dimension”

b) 输入要素 (或输入层) 的总数/长度 (MINST彩色图像的总数为28 x 28 = 784)或FFT转换后的频谱值中的总数为3000,或

“输入层/输入要素尺寸”

c)输入的维数 (维数)(通常是Keras LSTM中期望的3D)或(#RowofSamples,#of Senors,#of Values ..)3是答案。

“输入的N维”

d)此展开的输入图像数据中的特殊输入形状 (例如(30,50,50,3),如果展开的Keras,则为(30,250,3)

Keras的input_dim是指输入层的尺寸/输入要素的数量

model = Sequential()
model.add(Dense(32, input_dim=784))  #or 3 in the current posted example above
model.add(Activation('relu'))

在Keras LSTM中,它指的是总时间步长

这个术语非常令人困惑,是正确的,我们生活在一个非常令人困惑的世界中!!

我发现机器学习中的挑战之一是处理不同的语言或方言和术语(例如,如果您有5-8个非常不同的英语版本,那么您需要非常熟练的语言才能与不同的说话者交谈)。也许在编程语言中也是如此。

收藏
评论
新手导航
  • 社区规范
  • 提出问题
  • 进行投票
  • 个人资料
  • 优化问题
  • 回答问题

关于我们

常见问题

内容许可

联系我们

@2020 AskGo
京ICP备20001863号