我正在尝试爬取这个页面以及类似此页面的所有页面。我一直在使用BeautifulSoup(也尝试过lxml,但安装存在问题)。我正在使用以下代码:
value = "http://www.presidency.ucsb.edu/ws/index.php?pid=99556"
desiredTag = "span"
r = urllib2.urlopen(value)
data = BeautifulSoup(r.read(), 'html5lib')
displayText = data.find_all(desiredTag)
print displayText
displayText = " ".join(str(displayText))
displayText = BeautifulSoup(displayText, 'html5lib')
由于某些原因,这并没有拉回
<span class="displaytext">
,我也尝试将desiredTag
设为p
。我是否漏掉了什么?