例如，如果进行逻辑回归，则将使用S型函数来估计概率，将交叉熵用作损失函数，并使用梯度下降来将其最小化。这样做但将MSE用作损失函数可能会导致非凸问题，您可能会发现局部极小值。使用交叉熵将导致凸问题，您可能会在其中找到最佳解决方案。

https://www.youtube.com/watch?v=rtD0RvfBJqQ&list=PL0Smm0jPm9WcCsYvbhPCdizqNKps69W4Z&index=35

这里还有一个有趣的分析： https : //jamesmccaffrey.wordpress.com/2013/11/05/why-you-should-use-cross-entropy-error-instead-of-classification-error-or-mean-神经网络分类器训练的平方误差/

交叉熵是分类的首选，而均方误差是回归的最佳选择之一。这直接来自问题本身的陈述-在分类中，您使用非常特殊的可能的输出值集，因此MSE定义不正确（因为它不具备此类知识，因此以不兼容的方式惩罚错误）。为了更好地理解现象，最好遵循并理解两者之间的关系。

1. 交叉熵
2. 逻辑回归（二元交叉熵）
3. 线性回归（MSE）

您会注意到，只要对因变量有不同的假设，两者都可以看作是最大似然估计量。

从概率和分布的角度推导成本函数时，可以观察到，假设误差服从正态分布，则MSE发生，而假设二项式分布，则交叉熵。这意味着，当您使用MSE时，隐式地进行了回归（估计），而当使用CE时，则进行了分类。希望它能有所帮助。