我想知道如何使用BeautifulSoup打开列表中的另一个页面?我按照这个教程进行操作,但是它没有告诉我们如何在列表中打开另一个页面。另外,如果嵌套在类中的"a href"要如何打开?
以下是我的代码:
我正在尝试从每个商家的标题中收集href,并打开它们并爬取数据。
以下是我的代码:
# coding: utf-8
import requests
from bs4 import BeautifulSoup
r = requests.get("")
soup = BeautifulSoup(r.content)
soup.find_all("a")
for link in soup.find_all("a"):
print link.get("href")
for link in soup.find_all("a"):
print link.text
for link in soup.find_all("a"):
print link.text, link.get("href")
g_data = soup.find_all("div", {"class":"listing__left-column"})
for item in g_data:
print item.contents
for item in g_data:
print item.contents[0].text
print link.get('href')
for item in g_data:
print item.contents[0]
我正在尝试从每个商家的标题中收集href,并打开它们并爬取数据。
r = requests.get("http://www.yellowpages.com/")
这样的代码。 - Martin Evans