我已经浏览了以下问题：
如何提取GradientBosstingClassifier的决策规则
然而上述两个问题都不能解决我的问题。以下是我的查询:
我需要使用gradientboostingclassifer在Python中构建模型，并在SAS平台上实现此模型。为此，我需要从gradientboostingclassifer中提取决策规则。
以下是我迄今为止尝试过的内容:
在IRIS数据上构建模型：
# import the most common dataset
from sklearn.datasets import load_iris
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.tree import export_graphviz
from sklearn.externals.six import StringIO
from IPython.display import Image
X, y = load_iris(return_X_y=True)
# there are 150 observations and 4 features
print(X.shape) # (150, 4)
# let's build a small model = 5 trees with depth no more than 2
model = GradientBoostingClassifier(n_estimators=5, max_depth=3, learning_rate=1.0)
model.fit(X, y==2) # predict 2nd class vs rest, for simplicity
# we can access individual trees
trees = model.estimators_.ravel()
def plot_tree(clf):
dot_data = StringIO()
export_graphviz(clf, out_file=dot_data, node_ids=True,
filled=True, rounded=True,
special_characters=True)
graph = pydotplus.graph_from_dot_data([enter image description here][3]dot_data.getvalue())
return Image(graph.create_png())
# now we can plot the first tree
plot_tree(trees[0])
在绘制图表后，我检查了第一棵树的图表源代码，并使用以下代码将其写入文本文件：
with open("C:\\Users\XXXX\Desktop\Python\input_tree.txt", "w") as wrt:
wrt.write(export_graphviz(trees[0], out_file=None, node_ids=True,
filled=True, rounded=True,
special_characters=True))
以下是输出文件：
digraph Tree {
node [shape=box, style="filled, rounded", color="black", fontname=helvetica] ;
edge [fontname=helvetica] ;
0 [label=<node #0<br/>X<SUB>3</SUB> ≤ 1.75<br/>friedman_mse = 0.222<br/>samples = 150<br/>value = 0.0>, fillcolor="#e5813955"] ;
1 [label=<node #1<br/>X<SUB>2</SUB> ≤ 4.95<br/>friedman_mse = 0.046<br/>samples = 104<br/>value = -0.285>, fillcolor="#e5813945"] ;
0 -> 1 [labeldistance=2.5, labelangle=45, headlabel="True"] ;
2 [label=<node #2<br/>X<SUB>3</SUB> ≤ 1.65<br/>friedman_mse = 0.01<br/>samples = 98<br/>value = -0.323>, fillcolor="#e5813943"] ;
1 -> 2 ;
3 [label=<node #3<br/>friedman_mse = 0.0<br/>samples = 97<br/>value = -1.5>, fillcolor="#e5813900"] ;
2 -> 3 ;
4 [label=<node #4<br/>friedman_mse = -0.0<br/>samples = 1<br/>value = 3.0>, fillcolor="#e58139ff"] ;
2 -> 4 ;
5 [label=<node #5<br/>X<SUB>3</SUB> ≤ 1.55<br/>friedman_mse = 0.222<br/>samples = 6<br/>value = 0.333>, fillcolor="#e5813968"] ;
1 -> 5 ;
6 [label=<node #6<br/>friedman_mse = 0.0<br/>samples = 3<br/>value = 3.0>, fillcolor="#e58139ff"] ;
5 -> 6 ;
7 [label=<node #7<br/>friedman_mse = 0.222<br/>samples = 3<br/>value = 0.0>, fillcolor="#e5813955"] ;
5 -> 7 ;
8 [label=<node #8<br/>X<SUB>2</SUB> ≤ 4.85<br/>friedman_mse = 0.021<br/>samples = 46<br/>value = 0.645>, fillcolor="#e581397a"] ;
0 -> 8 [labeldistance=2.5, labelangle=-45, headlabel="False"] ;
9 [label=<node #9<br/>X<SUB>1</SUB> ≤ 3.1<br/>friedman_mse = 0.222<br/>samples = 3<br/>value = 0.333>, fillcolor="#e5813968"] ;
8 -> 9 ;
10 [label=<node #10<br/>friedman_mse = 0.0<br/>samples = 2<br/>value = 3.0>, fillcolor="#e58139ff"] ;
9 -> 10 ;
11 [label=<node #11<br/>friedman_mse = -0.0<br/>samples = 1<br/>value = -1.5>, fillcolor="#e5813900"] ;
9 -> 11 ;
12 [label=<node #12<br/>friedman_mse = -0.0<br/>samples = 43<br/>value = 3.0>, fillcolor="#e58139ff"] ;
8 -> 12 ;
}
从输出文件中提取决策规则，我尝试了下面的Python正则表达式代码来转换为SAS代码：
import re
with open("C:\\Users\XXXX\Desktop\Python\input_tree.txt") as f:
with open("C:\\Users\XXXX\Desktop\Python\output.txt", "w") as f1:
result0 = 'value = 0;'
f1.write(result0)
for line in f:
result1 = re.sub(r'^(\d+)\s+.*<br\/>([A-Z]+)<SUB>(\d+)<\/SUB>\s+(.+?)([-\d.]+)<br\/>friedman_mse.*;$',r"if \2\3 \4 \5 then do;",line)
result2 = re.sub(r'^(\d+).*(?!SUB).*(value\s+=)\s([-\d.]+).*;$',r"\2 value + \3; end;",result1)
result3 = re.sub(r'^(\d+\s+->\s+\d+\s+);$',r'\1',result2)
result4 = re.sub(r'^digraph.+|^node.+|^edge.+','',result3)
result5 = re.sub(r'&(\w{2});',r'\1',result4)
result6 = re.sub(r'}','end;',result5)
f1.write(result6)
以下是上述代码的SAS输出结果：
value = 0;
if X3 le 1.75 then do;
if X2 le 4.95 then do;
0 -> 1 [labeldistance=2.5, labelangle=45, headlabel="True"] ;
if X3 le 1.65 then do;
1 -> 2
value = value + -1.5; end;
2 -> 3
value = value + 3.0; end;
2 -> 4
if X3 le 1.55 then do;
1 -> 5
value = value + 3.0; end;
5 -> 6
value = value + 0.0; end;
5 -> 7
if X2 le 4.85 then do;
0 -> 8 [labeldistance=2.5, labelangle=-45, headlabel="False"] ;
if X1 le 3.1 then do;
8 -> 9
value = value + 3.0; end;
9 -> 10
value = value + -1.5; end;
9 -> 11
value = value + 3.0; end;
8 -> 12
end;
您可以看到输出文件中有一个缺失的部分，即我无法正确打开/关闭do-end块。为此，我需要使用节点编号，但我无法找到任何模式。
请问你能帮我解决这个问题吗？
除此之外，像DecisionTreeClassifier一样，我是否不能提取上述第二个链接中提到的children_left、children_right、threshold值。我已经成功地提取了GBM的每棵树。
trees = model.estimators_.ravel()
但是我没有找到任何有用的函数，可以用来提取每个树的值和规则。如果可以像DecisionTreeclassifier一样使用grapviz对象，请帮忙解决问题。
或者
帮我找到其他可以解决我的目的的方法。