逻辑回归：一对多方法用于多分类。

Question

我是一名机器学习的新手。在学习逻辑回归时，我了解到可以使用一对多(one-vs-all)方法进行多分类：逻辑回归中的假设函数试图估计正类的概率。假设我们有3个类别，那么每个类别，我们都应该预测假设函数h(x)。

h1(x)=P(y=1|x)
h2(x)=P(y=2|x)
h3(x)=P(y=3|x)

然而，这三种概率的总和不等于1？ 我“感觉”它应该等于1，但我不明白为什么不是。 有人能解释一下吗？

- hongdang

Answer 1

您的结果是正确的，但 h1(x)、h2(x) 和 h3(x) 的总和不应该等于 1。

由于您正在执行一对多分类，因此对于每个类别（例如，类别 1），您有两个概率 p(y=1|x) 和 p(y!=1|x)，它们加起来等于 1：

p(y=1|x) + p(y!=1|x) = 1.

但是，由于一对多分类是独立的，因此

p(y!=1|x) != p(y=2|x) + p(y=3|x) (at least not necessarily).

也许通过一个例子更容易理解：

• 第一个分类器表示 p(y=1|x) = 0.7 且 p(y!=1|x) = 0.3；
• 第二个分类器表示 p(y=2|x) = 0.7 且 p(y!=2|x) = 0.3；
• 第三个分类器表示 p(y=3|x) = 0.7 且 p(y!=3|x) = 0.3。

它们都是有效的分类器，但是：

p(y=1|x) + p(y=2|x) + p(y=3|x) != 1.

- melaanya

---

谢谢！但我有点困惑，为什么分类器是独立的？我认为这只是因为逻辑回归的输出仅是估计概率，而不是概率密度函数，所以它们不会相加等于1。是吗？ - hongdang