在R和rvest中抓取多个链接的HTML表格

Question

本文http://www.ajnr.org/content/30/7/1402.full包含四个html表格链接，我想使用rvest进行抓取。

通过css选择器的帮助：

"#T1 a" 

按照以下方式，可以到达第一个表格：

library("rvest")
html_session("http://www.ajnr.org/content/30/7/1402.full") %>%
follow_link(css="#T1 a") %>%
html_table() %>%
View()

这是CSS选择器：

".table-inline li:nth-child(1) a"

这使得选择包含链接到四个表格的标签的所有四个HTML节点成为可能:

library("rvest")
html("http://www.ajnr.org/content/30/7/1402.full") %>%
html_nodes(css=".table-inline li:nth-child(1) a")

如何循环遍历这个列表并一次性检索全部4个表格？最佳方法是什么？

- landge

---

也许这可以帮助你 https://dev59.com/g3M_5IYBdhLWcg3wZSPX - user1267127

Answer 1

这是一种方法：

library(rvest)

url <- "http://www.ajnr.org/content/30/7/1402.full"
page <- read_html(url)

# First find all the urls
table_urls <- page %>% 
  html_nodes(".table-inline li:nth-child(1) a") %>%
  html_attr("href") %>%
  xml2::url_absolute(url)

# Then loop over the urls, downloading & extracting the table
lapply(table_urls, . %>% read_html() %>% html_table())

- hadley

---

我尝试过这个，结果收到一个错误信息：警告信息：“html”已被弃用。请使用“read_html”。请参见help（“Deprecated”） - Paul M

我通过在第三行替换read_html(url)来更改此内容。 但我仍然收到投诉。 我做错了什么？ - Paul M

@PaulM 你可能错过了最后一行的那个。 - hadley

Answer 2

您可能想要使用如下所示的内容：

您可能想要使用以下内容：

main_url <- "http://www.ajnr.org/content/30/7/1402/"
urls <- paste(main_url,c("T1.expansion","T2.expansion","T3.expansion","T4.expansion"),".html", sep = "")
tables <- list()
for(i in seq_along(urls))
{
  total <- readHTMLTable(urls[i])
  n.rows <- unlist(lapply(total, function(t) dim(t)[1]))
  tables[[i]] <- as.data.frame(total[[which.max(n.rows)]])
}
tables

#[[1]]
#  Glioma Grade Sensitivity Specificity    PPV    NPV
#1    II vs III       50.0%       92.9%  80.0%  76.5%
#2     II vs IV      100.0%      100.0% 100.0% 100.0%
#3    III vs IV       78.9%       87.5%  93.8%  63.6%

#[[2]]
#  Glioma Grade Sensitivity Specificity   PPV    NPV
#1    II vs III       87.5%       71.4% 63.6%  90.9%
#2     II vs IV      100.0%       85.7% 90.5% 100.0%
#3    III vs IV       89.5%       75.0% 89.5%  75.0%

#[[3]]
#  Criterion Sensitivity Specificity    PPV   NPV
#1       ≥1*       85.2%       92.9%  95.8% 76.5%
#2        ≥2       81.5%      100.0% 100.0% 73.7%

#[[4]]
#  Criterion Sensitivity Specificity   PPV   NPV
#1     <1.92       96.3%       71.4% 86.7% 90.9%
#2     <2.02       92.6%       71.4% 86.2% 83.3%
#3    <2.12*       92.6%       85.7% 92.6% 85.7%

- user1267127

---

谢谢！是否有可能创建一个更通用的方法，使脚本提取表格（或链接）的数量？这样可以用于同一期刊的其他文章。 - landge