Xgboost、ExtraTreeClassifier和RandomForestClassifier有何不同？

Question

Xgboost、ExtraTreeClassifier和RandomForestClassifier有何不同？

pythonrandom-forestxgboostkaggle

8

我对这些方法都很陌生，想要一个简单的答案或者是有没有人能够引导我去网上的高层次解释。我的谷歌搜索只返回kaggle的示例代码。

extratree和randomforrest本质上是相同的吗？xgboost在选择任何特定树的特征时使用增强技术，即对特征进行采样。但是其他两种算法如何选择特征呢？

谢谢！

- vvv

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Soren Havelund Welling · Accepted Answer

Extra-trees(ET)，也称为极端随机树，与随机森林（RF）非常相似。这两种方法都是装袋方法，聚合了一些完全生长的决策树。RF仅尝试通过例如三分之一的特征进行拆分，但评估这些特征中的任何可能断点并选择最佳断点。然而，ET只会评估少数随机断点并选择最佳断点。ET可以将样本引导到每个树中或使用所有样本。RF必须使用引导才能正常工作。

xgboost是梯度提升的实现，可以与决策树一起使用，通常使用较小的树。每个树都是训练来纠正先前训练的树的残差。梯度提升可能更难训练，但可以实现比RF更低的模型偏差。对于嘈杂的数据，装袋可能是最有前途的。对于低噪声和复杂的数据结构，提升可能是最有前途的。