将HTML结构转换成网络图

Question

将HTML结构转换成网络图

8

我想要做的是将HTML站点DOM（文档对象模型）表示为网络图，然后对此图进行统计计算（如度、介数、接近度、绘图等）。我找不到任何直接执行此操作的库或SO帖子。我的想法是使用BeautifulSoup库，然后使用Networkx库。我尝试编写一些代码来循环遍历HTML结构的每个元素（使用recursive=True），但我不知道如何识别每个唯一的标记（您可以在此处看到，向图中添加第二个h1节点会覆盖第一个节点，对于父项也是如此，因此最终图形完全错误）。

import networkx as nx
import bs4
from bs4 import BeautifulSoup
ex0 = "<html><head><title>Are you lost ?</title></head><body><h1>Lost on the Intenet ?</h1><h1>Don't panic, we will help you</h1><strong><pre>    * <----- you are here</pre></strong></body></html>"
soup = BeautifulSoup(ex0)
G=nx.Graph()
for tag in soup.findAll(recursive=True):
    G.add_node(tag.name)
    G.add_edge(tag.name, tag.findParent().name)
nx.draw(G)   
G.nodes
#### NodeView(('html', '[document]', 'head', 'title', 'body', 'h1', 'strong', 'pre'))

有什么想法可以实现它（包括完全不同的方法）。谢谢

PS：图表可以是有向的或无向的，我不在意。

- agenis

你需要循环遍历所有嵌套元素。https://dev59.com/OFoV5IYBdhLWcg3wi_WY - Pedro Lobito

@PedroLobito 谢谢，我已经在做了，但我的问题是关于标签的唯一性甚至标签值的唯一性。 - agenis

你可以使用字典来存储每个标签和唯一键，例如：{'div1'，element1，'div2'：element2}。 - Pedro Lobito

是的，那可能很好，但我不知道如何将其实现到我的代码中 :-）。而且Beautifulsoup只接受标准标记，不能使用一些带有标识数字的标记名称... - agenis

我理解，但我也没有时间为您开发定制答案。祝好运！ - Pedro Lobito

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Ajax1234 · Accepted Answer

你可以循环遍历每个BeautifulSoup对象的content属性。要显示标签，只需在nx.draw中使用with_labels属性即可：

import networkx as nx
import matplotlib.pyplot as plt
from collections import defaultdict
from bs4 import BeautifulSoup as soup
ex0 = "<html><head><title>Are you lost ?</title></head><body><h1>Lost on the Intenet ?</h1><h1>Don't panic, we will help you</h1><strong><pre>    * <----- you are here</pre></strong></body></html>"
d = soup(ex0, 'html.parser')
def _traverse_html(_d:soup, _graph:nx.Graph, _counter, _parent=None) -> None:
  for i in _d.contents:
     if i.name is not None:
       try:
         _name_count = _counter.get(i.name)
         if _parent is not None:
           _graph.add_node(_parent)
           _graph.add_edge(_parent, i.name if not _name_count else f'{i.name}_{_name_count}')
         _counter[i.name] += 1
         _traverse_html(i, _graph, _counter, i.name)
       except AttributeError:
         pass

_full_graph = nx.Graph()
_traverse_html(d, _full_graph, defaultdict(int))
nx.draw(_full_graph, with_labels = True)   
plt.show()