作为一个玩具示例，我尝试从100个无噪声数据点拟合函数f(x) = 1/x 。 Matlab默认实现非常成功，均方差约为10 ^ -10，并且插值完美。

我实现了一个神经网络，其中包含10个S形神经元的一个隐藏层。我是神经网络的初学者，所以请当心防止愚蠢的代码。

import tensorflow as tf
import numpy as np

def weight_variable(shape):
  initial = tf.truncated_normal(shape, stddev=0.1)
  return tf.Variable(initial)

def bias_variable(shape):
  initial = tf.constant(0.1, shape=shape)
  return tf.Variable(initial)

#Can't make tensorflow consume ordinary lists unless they're parsed to ndarray
def toNd(lst):
    lgt = len(lst)
    x = np.zeros((1, lgt), dtype='float32')
    for i in range(0, lgt):
        x[0,i] = lst[i]
    return x

xBasic = np.linspace(0.2, 0.8, 101)
xTrain = toNd(xBasic)
yTrain = toNd(map(lambda x: 1/x, xBasic))

x = tf.placeholder("float", [1,None])
hiddenDim = 10

b = bias_variable([hiddenDim,1])
W = weight_variable([hiddenDim, 1])

b2 = bias_variable([1])
W2 = weight_variable([1, hiddenDim])

hidden = tf.nn.sigmoid(tf.matmul(W, x) + b)
y = tf.matmul(W2, hidden) + b2

# Minimize the squared errors.
loss = tf.reduce_mean(tf.square(y - yTrain))
optimizer = tf.train.GradientDescentOptimizer(0.5)
train = optimizer.minimize(loss)

# For initializing the variables.
init = tf.initialize_all_variables()

# Launch the graph
sess = tf.Session()
sess.run(init)

for step in xrange(0, 4001):
    train.run({x: xTrain}, sess)
    if step % 500 == 0:
        print loss.eval({x: xTrain}, sess)

均方差以〜2 * 10 ^ -3结尾，因此比matlab差约7个数量级。可视化

xTest = np.linspace(0.2, 0.8, 1001)
yTest = y.eval({x:toNd(xTest)}, sess)  
import matplotlib.pyplot as plt
plt.plot(xTest,yTest.transpose().tolist())
plt.plot(xTest,map(lambda x: 1/x, xTest))
plt.show()

我们可以看到拟合度在系统上是不完善的： 而matlab肉眼看起来完美无缺，差异均小于10 ^ -5： 我试图用TensorFlow复制Matlab网络图：

顺便说一句，该图似乎暗示了tanh而不是S形激活函数。我不能确定它在文档中的任何地方。但是，当我尝试在TensorFlow中使用tanh神经元时，拟合很快会失败，并使用nan作为变量。我不知道为什么。

Matlab使用Levenberg–Marquardt训练算法。贝叶斯正则化在均方为10 ^ -12时更加成功（我们可能在浮点运算的蒸气领域）。

为什么TensorFlow的实现如此糟糕，我该怎么做才能使其变得更好？