Question

最近，我开始玩弄神经网络。我正在尝试使用Tensorflow实现AND门。我无法理解何时使用不同的费用和激活功能。这是一个基本的神经网络，只有输入和输出层，没有隐藏层。

首先，我尝试以这种方式实现它。如您所见，这是一个较差的实现，但我认为它至少可以以某种方式完成工作。因此，我只尝试了真实的输出，没有人尝试过真实的输出。对于激活函数，我使用了S型函数，对于成本函数，我使用了平方误差成本函数（我认为是这样，如果我错了，请更正我）。

我已经尝试过使用ReLU和Softmax作为激活函数（具有相同的cost函数），但是它不起作用。我弄清楚了为什么它们不起作用。我还尝试了使用交叉熵成本函数的S型函数，它也无法正常工作。

import tensorflow as tf
import numpy

train_X = numpy.asarray([[0,0],[0,1],[1,0],[1,1]])
train_Y = numpy.asarray([[0],[0],[0],[1]])

x = tf.placeholder("float",[None, 2])
y = tf.placeholder("float",[None, 1])

W = tf.Variable(tf.zeros([2, 1]))
b = tf.Variable(tf.zeros([1, 1]))

activation = tf.nn.sigmoid(tf.matmul(x, W)+b)
cost = tf.reduce_sum(tf.square(activation - y))/4
optimizer = tf.train.GradientDescentOptimizer(.1).minimize(cost)

init = tf.initialize_all_variables()

with tf.Session() as sess:
    sess.run(init)
    for i in range(5000):
        train_data = sess.run(optimizer, feed_dict={x: train_X, y: train_Y})

    result = sess.run(activation, feed_dict={x:train_X})
    print(result)

经过5000次迭代：

[[ 0.0031316 ]
[ 0.12012422]
[ 0.12012422]
[ 0.85576665]]

问题1-是否有其他激活函数和成本函数可以在不更改参数的情况下（在不更改W，x，b的情况下）为上述网络工作（学习）。

问题2-我从此处的StackOverflow帖子中阅读：

[激活功能]选择取决于问题。

因此，没有可以在任何地方使用的成本函数吗？我的意思是，没有任何可用于任何神经网络的标准成本函数。对？请对此进行纠正。

我还用另一种方法实现了“ AND门，其输出为“真”。如您所见， train_Y [1,0]表示第0个索引为1，所以答案为0。希望您能得到它。

在这里，我使用了softmax激活函数，并将交叉熵作为代价函数。乙状结肠功能作为激活功能严重失败。

import tensorflow as tf
import numpy

train_X = numpy.asarray([[0,0],[0,1],[1,0],[1,1]])
train_Y = numpy.asarray([[1,0],[1,0],[1,0],[0,1]])

x = tf.placeholder("float",[None, 2])
y = tf.placeholder("float",[None, 2])

W = tf.Variable(tf.zeros([2, 2]))
b = tf.Variable(tf.zeros([2]))

activation = tf.nn.softmax(tf.matmul(x, W)+b)

cost = -tf.reduce_sum(y*tf.log(activation))

optimizer = tf.train.GradientDescentOptimizer(0.5).minimize(cost)

init = tf.initialize_all_variables()

with tf.Session() as sess:
    sess.run(init)
    for i in range(5000):
        train_data = sess.run(optimizer, feed_dict={x: train_X, y: train_Y})

    result = sess.run(activation, feed_dict={x:train_X})
    print(result)

经过5000次迭代

[[  1.00000000e+00   1.41971401e-09]
 [  9.98996437e-01   1.00352429e-03]
 [  9.98996437e-01   1.00352429e-03]
 [  1.40495342e-03   9.98595059e-01]]

问题3那么在这种情况下，我可以使用哪些成本函数和激活函数？我如何了解应该使用哪种类型的费用和激活功能？是否有标准的方式或规则，或者仅是经验？我是否必须以蛮力方式尝试所有费用和激活功能？我在这里找到了答案。但我希望有更详尽的解释。

问题4我注意到，要收敛到接近准确的预测需要花费很多迭代。我认为融合率取决于学习率（使用太多会丢失解决方案）和成本函数（如果我错了，请纠正我）。那么，有没有最佳方法（意味着最快）或成本函数收敛到正确的解决方案？