使用“rvest”抓取HTML表格

Question

我尝试使用rvest包来抓取表格：

library(rvest)

x <- read_html ("http://www.jcb.jp/rate/usd04182016.html")
x %>% html_node(".CSVTable") %>% html_table 

URL元素看起来像：

<table class="CSVTable">
 <tbody>...</tbody>
 <tbody class>...</tbody>
</table>

为什么会出现“没有匹配项”的错误？

- Jeffery Chen

---

看一下 ?html_table - "解析HTML表格...". 然后尝试 x %>% html_table. 你会发现，页面上看到的表格无法被 html_table 解析。 - SymbolixAU

Answer 1

你有福了（有点）。该网站使用动态XHR请求来制作表格，但是该请求也是CSV文件。

library(rvest)
library(stringr)

pg <- read_html("http://www.jcb.jp/rate/usd04182016.html")

# the <script> tag that does the dynamic loading is in position 6 of the 
# list of <script> tags

fil <- str_match(html_text(html_nodes(pg, "script")[6]), "(/uploads/[[:digit:]]+\\.csv)")[,2]

df <- read.csv(sprintf("http://www.jcb.jp%s", fil), header=FALSE, stringsAsFactors=FALSE)

df <- setNames(df[,3:6], c("buy", "mid", "sell", "symbol"))

head(df)
##        buy      mid     sell symbol
## 1   3.6735   3.6736   3.6737    AED
## 2  68.2700  69.0700  69.8700    AFN
## 3 122.3300 122.6300 122.9300    ALL
## 4 479.5000 481.0000 482.5000    AMD
## 5   1.7710   1.8110   1.8510    ANG
## 6 165.0600 165.3100 165.5600    AOA

但是，这也意味着您可以直接获取CSV文件：

read.csv("http://www.jcb.jp/uploads/20160418.csv")

（只需在请求中正确格式化日期。）

- hrbrmstr