多元决策树学习者

Question

今日免费次数已满, 请开通会员/明日再来

- Sney

---

你能进一步解释你的问题吗？据我所知，C4.5是一种多元算法，它以任意维度的向量作为输入。 - Stompchicken

是的，C4.5可以将任意维度的向量作为输入。但是我指的是单变量/多变量的分裂机制。单变量分裂是轴正交的，而多变量则意味着通过任意超平面进行分裂。 - Sney

这样更清晰了，但是我没有答案 :) 我能做的最好的建议是，线性分类器的集合（我猜测是提升）可能在某种程度上等同于多元决策树。 - Stompchicken

是的，集成方法很好，我已经使用了像 boosting 这样的集成方法。从技术上讲，它们更好地逼近目标模型，但仍然使用单变量特征空间分割。 - Sney

Answer 1

Bennett和Blue的使用支持向量机方法构建决策树通过在每个决策中使用嵌入式SVM进行多变量分裂。

同样，在通过离散支持向量机实现多类别分类(2009)中，Orsenigo和Vercellis将离散支持向量机(DSVM)的多类别变体嵌入到决策树节点中。

- dmcer

---

这些论文很有趣，我之前不知道！无论如何，它们并没有提供任何现成的实现来评估这些方法。但是我将这个问题标记为答案，因为有论文链接！当然，如果有实现的链接仍然是受欢迎的！ - Sney

Answer 2

CART算法用于决策树，可以制成多元的。CART是一种二分割算法，与为离散值创建每个唯一值的节点的C4.5相对。他们在MARS中也使用相同的算法来处理缺失值。

要创建一个多元树，您需要计算每个节点的最佳分割，但是不要丢弃所有不是最佳的分割，而是取其中一部分（可能全部），然后通过该节点处潜在分割的每个数据属性按顺序加权评估所有数据。因此，第一个分割（导致最大增益）的权重为1。然后，下一个最高增益分割的权重小于1.0的某个分数，依此类推。其中权重随着该分割增益的减少而减少。然后将该数字与左节点内节点的相同计算进行比较，如果它高于该数字，则向左移动。否则向右移动。这是决策树的多元分割的粗略描述。

- chubbsondubs

Answer 3

是的，有一些，例如OC1，但它们比制作单变量分割的更少见。添加多元分割会极大地扩展搜索空间。为了达成某种妥协，我见过一些逻辑学习器只是计算线性判别函数并将其添加到候选变量列表中。

- Predictor