DecisionTreeRegressor的predict_proba等价方法是什么？

Question

scikit-learn的DecisionTreeClassifier支持通过predict_proba()函数预测每个类的概率。这在DecisionTreeRegressor中不存在：

AttributeError: 'DecisionTreeRegressor'对象没有'predict_proba'属性

我的理解是，决策树分类器和回归器之间的基本机制非常相似，主要区别在于从回归器预测是潜在叶子节点的平均值。因此，我期望可以提取每个值的概率。

是否有另一种方法来模拟这个过程，例如通过处理树结构？DecisionTreeClassifier的predict_proba的代码不能直接转移。

- Max Ghenis

---

顺便说一句，我明白这不太可能产生很好的结果。我正在寻求量化随机森林和树之间在生成预测区间方面的差异。 - Max Ghenis

https://github.com/scikit-learn/scikit-learn/blob/55bf5d9/sklearn/tree/tree.py#L804 - seralouk

Answer 1

这个函数改编自hellpanderr的答案，提供每个结果的概率：

from sklearn.tree import DecisionTreeRegressor
import pandas as pd

def decision_tree_regressor_predict_proba(X_train, y_train, X_test, **kwargs):
    """Trains DecisionTreeRegressor model and predicts probabilities of each y.

    Args:
        X_train: Training features.
        y_train: Training labels.
        X_test: New data to predict on.
        **kwargs: Other arguments passed to DecisionTreeRegressor.

    Returns:
        DataFrame with columns for record_id (row of X_test), y 
        (predicted value), and prob (of that y value).
        The sum of prob equals 1 for each record_id.
    """
    # Train model.
    m = DecisionTreeRegressor(**kwargs).fit(X_train, y_train)
    # Get y values corresponding to each node.
    node_ys = pd.DataFrame({'node_id': m.apply(X_train), 'y': y_train})
    # Calculate probability as 1 / number of y values per node.
    node_ys['prob'] = 1 / node_ys.groupby(node_ys.node_id).transform('count')
    # Aggregate per node-y, in case of multiple training records with the same y.
    node_ys_dedup = node_ys.groupby(['node_id', 'y']).prob.sum().to_frame()\
        .reset_index()
    # Extract predicted leaf node for each new observation.
    leaf = pd.DataFrame(m.decision_path(X_test).toarray()).apply(
        lambda x:x.to_numpy().nonzero()[0].max(), axis=1).to_frame(
            name='node_id')
    leaf['record_id'] = leaf.index
    # Merge with y values and drop node_id.
    return leaf.merge(node_ys_dedup, on='node_id').drop(
        'node_id', axis=1).sort_values(['record_id', 'y'])

示例（请参见此笔记本）：

from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
X, y = load_boston(True)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)
# Works better with min_samples_leaf > 1.
res = decision_tree_regressor_predict_proba(X_train, y_train, X_test,
                                            random_state=0, min_samples_leaf=5)
res[res.record_id == 2]
#      record_id       y        prob
#   25         2    20.6    0.166667
#   26         2    22.3    0.166667
#   27         2    22.7    0.166667
#   28         2    23.8    0.333333
#   29         2    25.0    0.166667

- Max Ghenis

---

nonzero()已被弃用。修复方法是更改为to_numpy().nonzero()。 - BSalita

Answer 2

您可以从树形结构中获取该数据：

import sklearn
import numpy as np
import graphviz
from sklearn.tree import DecisionTreeRegressor, DecisionTreeClassifier
from sklearn.datasets import make_regression

# Generate a simple dataset
X, y = make_regression(n_features=2, n_informative=2, random_state=0)
clf = DecisionTreeRegressor(random_state=0, max_depth=2)
clf.fit(X, y)
# Visualize the tree
graphviz.Source(sklearn.tree.export_graphviz(clf)).view()

>>> clf.predict(X[:5])

0     184.005667
1      53.017289
2     184.005667
3     -20.603498
4     -97.414461

如果您调用clf.apply(X)，您将获得一个节点ID，该实例属于该节点：

array([6, 5, 6, 3, 2, 5, 5, 3, 6, ... 5, 5, 6, 3, 2, 2, 5, 2, 2], dtype=int64)

将其与目标变量合并：

df = pd.DataFrame(np.vstack([y, clf.apply(X)]), index=['y','node_id']).T
    y           node_id
0   190.370562  6.0
1   13.339570   5.0
2   141.772669  6.0
3   -3.069627   3.0
4   -26.062465  2.0
5   54.922541   5.0
6   25.952881   5.0
       ...

现在，如果您对node_id进行groupby操作，然后跟随平均值，您将得到与clf.predict(X)相同的值。

>>> df.groupby('node_id').mean()
                 y
node_id     
2.0     -97.414461
3.0     -20.603498
5.0     53.017289
6.0     184.005667

我们的树叶的值是什么：

>>> clf.tree_.value[6]
array([[184.00566679]])

要获取新数据集的节点ID，您需要调用以下代码： clf.decision_path(X[:5]).toarray() 它将显示一个类似于以下的数组。

array([[1, 0, 0, 0, 1, 0, 1],
       [1, 0, 0, 0, 1, 1, 0],
       [1, 0, 0, 0, 1, 0, 1],
       [1, 1, 0, 1, 0, 0, 0],
       [1, 1, 1, 0, 0, 0, 0]], dtype=int64)

您需要获取最后一个非零元素（即叶子节点）的位置

>>> pd.DataFrame(clf.decision_path(X[:5]).toarray()).apply(lambda x:x.nonzero()[0].max(), axis=1)
0    6
1    5
2    6
3    3
4    2
dtype: int64

所以，如果你想要预测中位数而不是平均数，你需要执行以下操作：

>>> pd.DataFrame(clf.decision_path(X[:5]).toarray()).apply(lambda x: x.nonzero()[0].max(
    ), axis=1).to_frame(name='node_id').join(df.groupby('node_id').median(), on='node_id')['y']
0    181.381106
1     54.053170
2    181.381106
3    -28.591188
4    -93.891889

- hellpanderr

---

谢谢，这段代码非常有帮助。我修改了它以获取 https://dev59.com/srDla4cB1Zd3GeqP4jbJ#53601104 中每个值的概率。 - Max Ghenis