如何在R中的dplyr链中添加进度条

Question

我喜欢dplyr的"progress_estimated"功能，但我不知道如何在dplyr链中使用进度条。我在这里底部放置了一个带有代码的可再现示例。

我有一个相当大的数据框，像这样:

                cdatetime latitude longitude   
1 2013-01-11 06:40:00 CST 49.74697 -93.30951
2 2013-01-12 15:55:00 CST 49.74697 -93.30951 
3 2013-01-07 20:30:00 CST 49.74697 -93.30951 

我想使用库来计算每天的日出时间。

library(dplyr)
library(StreamMetabolism)

我可以在循环中使用dplyr的progress_estimated进度条，例如：

丑陋的循环（可行）

p <- progress_estimated(nrow(test))

for (i in 1:nrow(test)){
  p$tick()$print()
  datetime = as.POSIXct(substr(test$cdatetime[i], 1, 20), tz = "CST6CDT")
  test$sunrise[i] <- sunrise.set(test$latitude[i], test$longitude[i], datetime, "CST6CDT", num.days = 1)[1,1]
}

但是我该如何将它嵌套在我的函数中，以此避免使用循环？

更好的选择是：

SunriseSet <- function(dataframe, timezone){
  dataframe %>% 
    rowwise() %>% 
    mutate(# calculate the date-time using the correct timezone
      datetime = as.POSIXct(substr(cdatetime, 1, 20), tz = timezone),
      # Get the time of sunrise and sunset on this day, at the county midpoint
      sunrise = sunrise.set(latitude, longitude, datetime, timezone, num.days = 1)[1,1])
}

如何在此处添加进度条？

test2 <- SunriseSet(test, "CST6CDT")

这里是一些示例数据：

test <- data.frame(cdatetime = rep("2013-01-11 06:40:00", 300),
                   latitude = seq(49.74697, 50.04695, 0.001),
                   longitude = seq(-93.30951, -93.27960, 0.0001))

- Nova

---

我认为进度条也应该能够以组的形式使用。例如，如果你按日期分组，那么就可以在每个组中进行变异。 - Jeff Parker

Answer 1

与其使用rowwise()，或许可以尝试将purrr中的map*函数与progress_estimated()配对使用。本答案遵循https://rud.is/b/2017/03/27/all-in-on-r%E2%81%B4-progress-bars-on-first-post/的方法。

首先，将您的函数包装在另一个函数中，以更新进度条：

SunriseSet <- function(lat, long, date, timezone, num.days, .pb = NULL) {
  if (.pb$i < .pb$n) .pb$tick()$print()
  sunrise.set(lat, long, date, timezone, num.days)
}

接着，使用 pmap 或 pmap_df 迭代你的输入（将输出绑定到数据框中）：

library(purrr)
pb <- progress_estimated(nrow(test), 0)
test2 <- test %>% 
  mutate(
    sunrise = pmap_df(
      list(
        lat = latitude, 
        long = longitude,
        date = as.character(cdatetime)
      ),
      SunriseSet,
      timezone = "CST6CDT", num.days = 1, .pb = pb
    )$sunrise
  )

- Weihuang Wong

---

太好了！我会尝试将日落时间添加到输出数据框中...谢谢！ - Nova

Answer 2

我并不是很喜欢我的解决方案，但它能够工作。

print_tick_function <- function(x, p) {
  p$tick()$print()
  data.frame(x)
}

SunriseSet <- function(dataframe, timezone){
  p <- progress_estimated(nrow(dataframe))
  dataframe %>% 
    rowwise() %>% 
    do(print_tick_function(.,p)) %>%
    mutate(
      datetime = as.POSIXct(substr(cdatetime, 1, 20), tz = timezone),
      sunrise = sunrise.set(latitude, longitude, datetime, timezone, num.days = 1)[1,1]
    )
}
test2 <- SunriseSet(test, "CST6CDT")

- nehiljain

---

谢谢@nehiljain，我还有很多关于do()的东西要学习。我在一个更大的数据框上尝试了它，但进度条不准确 - 进度到达100％，但函数仍然需要几分钟才能完成。 - Nova

@Nova 我有同样的经历，在实践中进度条在计算完成之前就已经达到了100%。 - Ibo