我想要抓取表格中所有项目的 URL,但尝试后没有结果。代码非常基础,因此我可以理解为什么它可能不起作用。但是,甚至尝试抓取这个网站的标题也没有结果。我至少希望能看到 h1 标签,因为它在表格之外...
网站: https://www.vanguard.com.au/personal/products/en/overview
网站: https://www.vanguard.com.au/personal/products/en/overview
import requests
from bs4 import BeautifulSoup
lists =[]
url = 'https://www.vanguard.com.au/personal/products/en/overview'
r = requests.get(url)
soup = BeautifulSoup(r.content, 'html.parser')
title = soup.find_all('h1', class_='heading2 gbs-font-vanguard-red')
for links in soup.find_all('a', style='padding-bottom: 1px;'):
link_text = links['href']
lists.append(link_text)
print(title)
print(lists)
JavaScript
添加元素,但requests
/BeautifulSoup
无法运行JavaScript
。您可能需要使用 Selenium 来控制真实的网络浏览器,以便运行JavaScript
。 - furas