我对如何使用BeautifulSoup来遍历HTML树有些困惑。
import requests
from bs4 import BeautifulSoup
url = 'http://examplewebsite.com'
source = requests.get(url)
content = source.content
soup = BeautifulSoup(source.content, "html.parser")
# Now I navigate the soup
for a in soup.findAll('a'):
print a.get("href")
是否有一种方法可以通过标签找到特定的
href
?例如,在在线目录中,我想要的所有href
都被称为某个名称,例如price
。我想要的
href
链接都在网页的特定位置内,即页面的 <body> 和特定<div>之内。我可以只访问这些链接吗?如何爬取每个
href
链接中的内容并保存到文件中?
<table>
中有许多href
(3)您单击链接,直到到达数据表。我想抓取这些数据。 - ShanZhengYang