决策树分类器如何使用全局约束？

Question

3

我使用Python中的sklearn生成了一棵决策树分类器，其准确性良好。我使用线性规划的最优解来训练分类器，该方法返回一个最佳分配方案，可以考虑全局成本约束条件（即将物品1分配给A类需要花费x。所有物品和类的总成本必须小于值y）。

在使用分类器重新分类所有项目后，虽然准确率可接受，但大多数分类运行都违反了全局成本约束条件。这是很自然的，因为Python中的标准决策树不考虑此约束条件。

是否有一种方法可以在分类之后维护全局约束条件？有没有一种方法可以强制树在进行下一次分配选择时考虑所有已经分类的项目？我认为这将需要建立某种成本或惩罚函数，并由树在分类过程中对其进行检查。

- Mike Lang

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Jon Nordby · Accepted Answer

决策树在sklearn中实现时仅基于考虑Gini系数、熵或信息增益的分裂准则构建。自定义损失函数不可行。

但是，梯度提升树（如XGboost、LightGBM和CatBoost）允许指定自己的损失函数。可以在此处找到教程： https://towardsdatascience.com/custom-loss-functions-for-gradient-boosting-f79c1b40466d 然后，您将把违反约束的惩罚项并入损失函数中。