我了解具有任何数量的隐藏层的神经网络都可以近似非线性函数,但是,它可以近似为:
f(x) = x^2
我能理解这个问题的唯一方法是,您在谈论外推。因此,例如,给定训练样本范围在-1 < x < +1
范围内,神经网络是否可以学习x > 100
的正确值?你是这个意思吗?
如果您具有先验知识,则要近似的函数很可能是低阶多项式(或任何其他函数集),那么您肯定可以构建一个神经网络来表示这些函数,并外推x^2
无处不在。
如果您没有先验知识,则事情会更加困难:存在无限多个平滑函数,它们完美地适合-1..+1
范围内的x^2
,并且没有充分的理由可以期望x^2
比其他任何功能都能提供更好的预测。换句话说:如果我们对要学习的函数不了解,那么为什么要学习x -> x^2
呢?在人工训练集领域, x^2
可能是一个函数,但在现实世界中,可能不是。
举个例子:假设星期一(t = 0)的温度为0°,星期二为1°,星期三为4°。我们没有理由相信温度的行为类似于低阶多项式,因此我们不希望从该数据推断下周一的温度可能约为49°。
同样,让我们假设我们不知道原始函数f,它恰好获得了最后500个输入的平均值,如果大于3,则输出1,如果不大于3,则输出0。但是有一秒钟,我们假装不知道,那是一个黑匣子。
递归神经网络如何近似呢?
我认为这是两个问题:首先,神经网络可以代表该功能吗?即是否有一组权重可以给出确切的行为?显然,这取决于网络体系结构,但是我认为我们可以提出可以表示(或至少近似近似)这种功能的体系结构。
问题二:如果有足够的训练样本,它可以学习此功能吗?好吧,如果您的学习算法没有陷入局部最小值,请确保:如果您有足够的训练样本,那么任何与您的函数不相近的权重集都会产生大于0的训练误差,而一组权重适合您要学习的功能,训练错误= 0。因此,如果找到全局最优值,则网络必须适合该功能。
0
我了解具有任何数量的隐藏层的神经网络都可以近似非线性函数,但是,它可以近似为:
我想不到怎么办。看起来神经网络有一个非常明显的局限性,它可能会限制其功能。例如,由于这个限制,神经网络可能无法正确地近似统计中使用的许多函数,例如指数移动平均值,甚至方差。
说到移动平均线,递归神经网络可以适当地近似吗?我了解前馈神经网络甚至单个线性神经元如何使用滑动窗口技术输出移动平均值,但是递归神经网络如何在没有X层隐藏层(X为移动平均值大小)的情况下做到这一点?
另外,让我们假设我们不知道原始函数f ,该函数恰好获得最后500个输入的平均值,如果大于3,则输出1,如果不大于3,则输出0。但是有一秒钟,我们假装不知道,那是一个黑匣子。
递归神经网络如何近似呢?我们首先需要知道应该有多少个时间步长,而我们没有。也许LSTM网络可以,但是即使那样,如果它不是简单的移动平均线,而是指数移动平均线怎么办?我认为即使LSTM也无法做到。
更糟糕的是,如果我们要学习的f(x,x1)仅仅是
这看起来非常简单明了。神经网络可以学习吗?我不知道如何。
我是否在这里错过了很多东西,或者机器学习算法非常有限?除了神经网络以外,还有其他学习技术可以实际做到这些吗?