线性回归和非线性回归之间的区别是什么？

Question

在机器学习中，我们说：

• w₁x₁ + w₂x₂ +...+ w_nx_n 是一个 线性回归 模型，其中w₁,w₂....w_n 是权重，x₁,x₂...x₂ 是特征；而：
• w₁x₁² + w₂x₂² +...+ w_nx_n² 是一个 非线性（多项式）回归 模型。

然而，在某些讲座中，我看到有人根据权重称模型为线性的，即权重系数是线性的，而特征的次数并不重要，无论它们是线性的(x₁)还是多项式的（x₁²）。这是真的吗？如何区分线性和非线性模型？是基于权重还是特征值？

- Ram

Answer 1

两种不同的方法都存在。

如果你是统计学界的从业者，通常会采用前一种方法（例如在特征中引入非线性，使用x^2或e^x等）。可以参考这里。

在机器学习领域，更关注权重；特征函数可以是任何东西（例如，在SVMs中采用的核技巧）。

这是因为不同的社区有不同的解决问题的方法。统计学界采用更直接和分析的方法；而机器学习的目标略有不同（即对未知概念空间中复杂模式进行建模）。

- Daniel

---

谢谢。在这种情况下，权重什么时候可以是多项式的？权重是通过梯度下降等技术学习的，那么在什么情况下它们会是线性或多项式的呢？ - Ram

只要它们是可微分的，就可以通过梯度下降（及其衍生算法）进行优化。 - Daniel

Answer 2

如何区分线性模型和非线性模型？是基于权重还是特征值？

我只听说/读到过“模型的线性/非线性取决于特征”。这通常是最有趣的事情。我不明白在模型中加入w_i^2项如何帮助你，因为它本质上是一个常数。只有在测试期间特征才会发生变化。

因此，线性模型是可以表示为的东西

“where the w_i define your model and the x_i are your input. Different w_i result in a different model (but they are all linear with respect to the features). If your model does not fit this scheme, then your model is not linear with respect to the features.”

“You can add new features that are essentially only handcrafted non-linear transformations of the input. For example, you could create a model…”

您可以认为这是一个关于输入的非线性模型。不过，您也可以认为它本质上就是这个模型。

我认为这里重要的部分是它是手工制作的。你改变了特征空间，而不是模型的能力。因此，它仍然是一个线性模型，但在另一个特征空间中。当你走这条路时，你可以使任何模型变成非线性的。

毕竟：这真的很重要吗？这听起来有点像你在为考试做准备。如果是这种情况，我建议你直接问你的讲师，并坚持他定义的线性/非线性。

- Martin Thoma

Answer 3

请加入Stats SE并参与this的讨论。我认为在那个背景下更合适。然而，为了说服您至少点击链接，这里是简短的答案：“如果（且仅当）模型噪声（误差）的统计分布可以仅使用观察、因子和/或预测变量的线性组合来描述时，该模型是线性的。否则，它就不是。”

正如您所看到的，我将其放在统计学的背景下，因为这是我的教育背景（实际上更多的是应用数学，最近重点关注概率）。这意味着当您从真实值（向量）中减去模型的预测时，该方程必须能够表示为因子/预测变量和真实数据作为线性空间中的向量的线性组合（有时需要进行数学转换）。

- brethvoice

---

我所指的方程式是误差 = 真值 - 预测值。因此，所有量必须使用相同的单位；不能将苹果减去橙子或反之亦然。如果您转换整个方程式，只要该转换是线性的，那么就可以奏效。 - brethvoice