Beautiful Soup - Python - 表格抓取

Question

Beautiful Soup - Python - 表格抓取

3

尝试使用beautiful soup从网站上爬取表格以解析数据。我该如何通过表头解析它？到目前为止，我甚至无法打印整个表格。提前致谢。

以下是代码：

import urllib2
from bs4 import BeautifulSoup

optionstable = "http://www.barchart.com/options/optdailyvol?type=stocks"
page = urllib2.urlopen(optionstable)
soup = BeautifulSoup(page, 'lxml')

table = soup.find("div", {"class":"dataTables_wrapper","id": "options_wrapper"})

table1 = table.find_all('table')

print table1

- RageAgainstheMachine

你能提供包含表格的HTML样本吗？编辑：算了，我在代码中看到URL了。 - sytech

1

数据是通过Ajax请求检索的，如果您使用 find(id="tableContainer")，则会发现它为空。 - Padraic Cunningham

@Gator_Python，当我点击检查时，我无法复制粘贴，表格是页面上唯一的一个...感谢任何帮助。 - RageAgainstheMachine

@ Padraic Cunningham，您有任何建议我怎么做吗？ - RageAgainstheMachine

1

@RageAgainstheMachine，请查看下面的答案。 - Padraic Cunningham

2个回答

2

这是一个动态页面，使用 DataTables jquery 插件来显示表格。如果你查看页面源代码，会发现一个空表格。在页面加载后，它会被填充。

在这里你有两个选择。一种是找出浏览器中运行的 Javascript 代码访问获取表格数据的 URL，并希望简单地访问此 URL 就能够工作。如果可以的话，响应可能会是 JSON 格式的，因此不需要解析任何内容。

第二种选择是使用 Selenium 或 PhantomJS 等工具加载页面并运行 Javascript 代码。然后你就可以访问已经填充好的表格并获取其数据。

- zmbq

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Padraic Cunningham · Accepted Answer

您需要模拟Ajax请求来获取表格数据：

import requests
from time import time

optionstable = "http://www.barchart.com/options/optdailyvol?type=stocks"


params = {"type": "stocks",
          "dir": "desc",
          "_": str(time()),
          "f": "base_symbol,type,strike,expiration_date,bid,ask,last,volume,open_interest,volatility,timestamp",
          "sEcho": "1",
          "iDisplayStart": "0",
          "iDisplayLength": "100",
          "iSortCol_0": "7",
          "sSortDir_0": "desc",
          "iSortingCols": "1",
          "bSortable_0": "true",
          "bSortable_1": "true",
          "bSortable_2": "true",
          "bSortable_3": "true",
          "bSortable_4": "true",
          "bSortable_5": "true",
          "bSortable_6": "true",
          "bSortable_7": "true",
          "bSortable_82": "true",
          "bSortable_9": "true",
          "bSortable_10": "true",
          "sortby": "Volume"}

然后执行一个带参数的get请求：

js = requests.get("http://www.barchart.com/option-center/getData.php", params=params).json()

这给您带来：

{u'aaData': [[u'<a href="/quotes/BAC">BAC</a>', u'Call', u'16.00', `u'12/16/16', u'0.89', u'0.90', u'0.91', u'52,482', u'146,378', u'0.26', u'01:43'], [u'<a href="/quotes/ETE">ETE</a>', u'Call', u'20.00', u'01/20/17', u'0.38', u'0.41', u'0.40', u'40,785', u'72,011', u'0.42', u'01:27'], [u'<a href="/quotes/BAC">BAC</a>', u'Call', u'15.00', u'10/21/16', u'1.34', u'1.36', u'1.33', u'35,663', u'90,342', u'0.35', u'01:44'], [u'<a href="/quotes/COTY">COTY</a>', u'Put', u'38.00', u'10/21/16', u'15.00', u'15.30', u'15.10', u'32,321', u'242,382', u'1.24', u'01:44'], [u'<a href="/quotes/COTY">COTY</a>', u'Call', u'38.00', u'10/21/16', u'0.00', u'0.05', u'0.01', u'32,320', u'256,589', u'1.34', u'01:44'], [u'<a href="/quotes/WFC">WFC</a>', u'Put', u'40.00', u'10/21/16', u'0.01', u'0.03', u'0.02', u'32,121', u'37,758', u'0.39', u'01:43'], [u'<a href="/quotes/WFC">WFC</a>', u'Put', u'40.00', u'11/18/16', u'0.16', u'0.17', u'0.16', u'32,023', u'8,789', u'0.30', u'01:44']..................

如果您在Chrome工具中查看XHR选项卡下的请求，您可以看到所有params。上述参数是获取结果所需的最低限度。还有很多其他参数，由于数量较多，我不会在此列出，留给您自己思考如何影响结果。

如果您遍历js[u'aaData']，您可以看到每个子列表，其中每个条目对应于列，例如：

#base_symbol,type,strike,expiration_date,bid,ask,last,volume,open_interest,volatility,timestamp

[u'<a href="/quotes/AAPL">AAPL</a>', u'Call', u'116.00', u'10/14/16', u'1.36', u'1.38', u'1.37', u'21,812', u'7,258', u'0.23', u'10/10/16']

所以，如果你想根据某些条件过滤行，例如打击率>15：

for d in filter(lambda row: float(row[2]) > 15, js[u'aaData']):
    print(d)

你可能也会发现pandas很有用，只需稍微整理一下就可以创建一个漂亮的数据框：

# extract base_symbol text
for v in js[u'aaData']:
    v[0] = BeautifulSoup(v[0]).a.text


import  pandas as pd
cols = "base_symbol,type,strike,expiration_date,bid,ask,last,volume,open_interest,volatility,timestamp"

df = pd.DataFrame(js[u'aaData'],
    columns=cols.split(","))

print(df.head(5))

这将为您提供一个不错的数据框以供使用：

  base_symbol  type strike expiration_date    bid    ask   last  volume  \
0         BAC  Call  16.00        12/16/16   0.89   0.90   0.91  52,482   
1         ETE  Call  20.00        01/20/17   0.38   0.41   0.40  40,785   
2         BAC  Call  15.00        10/21/16   1.34   1.36   1.33  35,663   
3        COTY   Put  38.00        10/21/16  15.00  15.30  15.10  32,321   
4        COTY  Call  38.00        10/21/16   0.00   0.05   0.01  32,320   

  open_interest volatility timestamp  
0       146,378       0.26  10/10/16  
1        72,011       0.42  10/10/16  
2        90,342       0.35  10/10/16  
3       242,382       1.24  10/10/16  
4       256,589       1.34  10/10/16

您可能只想更改数据类型，例如 df["strike"] = df["strike"].astype(float)。