我将theta矢量化了...可能可以帮助某人

theta = theta - (alpha/m *  (X * theta-y)' * X)';

我认为您的computeCost函数是错误的。我去年参加了NG的课程，并且有以下实现（矢量化）：

m = length(y);
J = 0;
predictions = X * theta;
sqrErrors = (predictions-y).^2;

J = 1/(2*m) * sum(sqrErrors);

尽管您也可以将它们向量化，但其余的实现对我来说似乎还不错。

theta_1 = theta(1) - alpha * (1/m) * sum((X*theta-y).*X(:,1));
theta_2 = theta(2) - alpha * (1/m) * sum((X*theta-y).*X(:,2));

然后，将正确的临时theta（此处称为theta_1和theta_2）正确设置回“真实” theta。

通常，矢量化而不是循环更有用，读取和调试的烦恼也较小。

如果您可以使用最小二乘成本函数，则可以尝试使用法线方程代替梯度下降。它要简单得多-只有一行-并且计算速度更快。

这是正常方程式： http : //mathworld.wolfram.com/NormalEquation.html

并以八度形式：

theta = (pinv(X' * X )) * X' * y

这是说明如何使用正规方程的教程： http : //www.lauradhamilton.com/tutorial-linear-regression-with-octave

如果你想知道如何在看似复杂的寻找for循环进行矢量化 ，并挤在一个单一的一条线表达式，那么请继续往下看。向量化形式为：

theta = theta - (alpha/m) * (X' * (X * theta - y))

下面给出了有关如何使用梯度下降算法得出此矢量化表达式的详细说明：

这是梯度下降算法，用于微调θ的值：

假设给出以下X，y和θ值：

• m =训练示例数
• n =功能数量+ 1

这里

• m = 5（训练示例）
• n = 4（功能+1）
• X = mxn矩阵
• y = mx 1向量矩阵
• θ= nx 1矢量矩阵
• x ⁱ是第i ^个训练示例
• x _j是给定训练示例中的^第 j ^个特征

进一步，

• h(x) = ([X] * [θ]) （我们的训练集的mx 1个预测值矩阵）
• h(x)-y = ([X] * [θ] - [y]) （mx 1我们的预测误差矩阵）

机器学习的总体目标是最大程度地减少预测错误。根据上述推论，我们的错误矩阵为mx 1矢量矩阵，如下所示：

为了计算_θj的新的价值，我们必须得到用j乘以训练集X.这是^个特征值的所有错误（m行）的总和 ，把所有的值E，单独乘他们^第 j ^个特征相应的训练示例，然后将它们全部加在一起。这将帮助我们在得到_θj的新的（希望更好）值。对所有j个或要素数量重复此过程。以矩阵形式，可以写成：

可以简化为：

• [E]' x [X]将给我们一个行向量矩阵，因为E'是1 xm矩阵，X是mxn矩阵。但是我们对获取列矩阵感兴趣，因此我们对结果矩阵进行转置。

更简洁地说，它可以写为：

由于(A * B)' = (B' * A') ，并且A'' = A ，我们也可以将上面的写为

这是我们开始时的原始表达：

theta = theta - (alpha/m) * (X' * (X * theta - y))

尽管不像矢量化版本那样可扩展，但是基于梯度下降的基于循环的计算应产生相同的结果。在上面的示例中，梯度下降无法计算正确的theta的最可能情况是alpha的值。

有了一组经过验证的成本和梯度下降函数以及一组与问题中描述的相似的数据，如果alpha = 0.01 ，则theta会在经过几次迭代后以NaN值结束。但是，当设置为alpha = 0.000001 ，即使100次迭代后，梯度下降也能按预期工作。