Scipy树状图转换为D3.js树形可视化的JSON格式

Question

我试图将scipy层次聚类的结果转换为json格式，以在d3.js中显示，这里有一个例子。

以下代码生成了一个具有6个分支的树状图。

import pandas as pd 
import scipy.spatial
import scipy.cluster

d = {'employee' : ['A', 'B', 'C', 'D', 'E', 'F'],
 'skillX': [2,8,3,6,8,10],
 'skillY': [8,15,6,9,7,10]}

d1 = pd.DataFrame(d)

distMat = xPairWiseDist = scipy.spatial.distance.pdist(np.array(d1[['skillX', 'skillY']]), 'euclidean')
clusters = scipy.cluster.hierarchy.linkage(distMat, method='single')
dendo  = scipy.cluster.hierarchy.dendrogram(clusters, labels = list(d1.employee), orientation = 'right')

dendo

我的问题 如何以 d3.js 理解的格式表示 JSON 文件中的数据。

{'name': 'Root1’, 
      'children':[{'name' : 'B'},
                  {'name': 'E-D-F-C-A',
                           'children' : [{'name': 'C-A',
                                         'children' : {'name': 'A'}, 
                                                      {'name' : 'C'}]
                                                 }
                   }
                   ]
}

很尴尬的是，我不知道我能否从树状图或链接矩阵中提取这些信息，也不知道如何提取。

我非常感谢任何帮助。

编辑以澄清

到目前为止，我已经尝试使用totree方法，但难以理解其结构（是的，我已经阅读了文档）。

a = scipy.cluster.hierarchy.to_tree(clusters , rd=True)

for x in a[1]:
 #print x.get_id()
 if x.is_leaf() != True :
     print  x.get_left().get_id(), x.get_right().get_id(), x.get_count()

- user1043144

Answer 1

你可以分三步完成此操作：

1. 递归构建一个嵌套字典，表示Scipy的to_tree方法返回的树。
2. 遍历嵌套字典，将其子树中的叶节点标记为每个内部节点的标签。
3. dump结果嵌套字典到JSON并加载到d3中。

构建表示树形图的嵌套字典

第一步很重要，需要使用rd=False调用to_tree，以便返回树形图的根。从根节点开始，可以按以下方式构建嵌套字典：

# Create a nested dictionary from the ClusterNode's returned by SciPy
def add_node(node, parent ):
    # First create the new node and append it to its parent's children
    newNode = dict( node_id=node.id, children=[] )
    parent["children"].append( newNode )

    # Recursively add the current node's children
    if node.left: add_node( node.left, newNode )
    if node.right: add_node( node.right, newNode )

T = scipy.cluster.hierarchy.to_tree( clusters , rd=False )
d3Dendro = dict(children=[], name="Root1")
add_node( T, d3Dendro )
# Output: => {'name': 'Root1', 'children': [{'node_id': 10, 'children': [{'node_id': 1, 'children': []}, {'node_id': 9, 'children': [{'node_id': 6, 'children': [{'node_id': 0, 'children': []}, {'node_id': 2, 'children': []}]}, {'node_id': 8, 'children': [{'node_id': 5, 'children': []}, {'node_id': 7, 'children': [{'node_id': 3, 'children': []}, {'node_id': 4, 'children': []}]}]}]}]}]}

基本思想是从不在树状图中的节点开始，作为整个树状图的根。然后我们递归地向这个字典添加左右子节点，直到达到叶子节点。此时，我们没有节点的标签，所以我只是用它们的clusterNode ID来标记节点。

标记树状图

接下来，我们需要使用node_ids来标记树状图。注释应该足够解释这个过程如何工作。

# Label each node with the names of each leaf in its subtree
def label_tree( n ):
    # If the node is a leaf, then we have its name
    if len(n["children"]) == 0:
        leafNames = [ id2name[n["node_id"]] ]

    # If not, flatten all the leaves in the node's subtree
    else:
        leafNames = reduce(lambda ls, c: ls + label_tree(c), n["children"], [])

    # Delete the node id since we don't need it anymore and
    # it makes for cleaner JSON
    del n["node_id"]

    # Labeling convention: "-"-separated leaf names
    n["name"] = name = "-".join(sorted(map(str, leafNames)))

    return leafNames

label_tree( d3Dendro["children"][0] )

将数据转换为JSON并加载到D3中

最后，在对树状图进行标注之后，我们只需要将其输出为JSON格式，并加载到D3中即可。以下是用Python代码将其转换为JSON格式：

# Output to JSON
json.dump(d3Dendro, open("d3-dendrogram.json", "w"), sort_keys=True, indent=4)

输出

我创建了以下树状图的Scipy和D3版本。对于D3版本，我只需将我输出的JSON文件（'d3-dendrogram.json'）插入到这个Gist中。

SciPy树状图

D3树状图

- mdml

---

如果有人对完整的源代码感兴趣，我在这个gist中包含了它：https://gist.github.com/mdml/7537455。 - mdml