test <- data.frame('prod_id'= c("shoe", "shoe", "shoe", "shoe", "shoe", "shoe", "boat", "boat","boat","boat","boat","boat"),
'seller_id'= c("a", "b", "c", "d", "e", "f", "a","g", "h", "r", "q", "b"),
'Dich'= c(1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0),
'price' = c(120, 20, 10, 4, 3, 4, 30, 43, 56, 88, 75, 44)
)
test
prod_id seller_id Dich price
1 shoe a 1 120
2 shoe b 0 20
3 shoe c 0 10
4 shoe d 0 4
5 shoe e 0 3
6 shoe f 0 4
7 boat a 0 30
8 boat g 0 43
9 boat h 1 56
10 boat r 0 88
11 boat q 0 75
12 boat b 0 44
我想创建一个新的列,该列基于Dich的值,根据价格列中的观察值之间的差异来计算。在每个prod_id组内,每个观察值都从Dich==1的观察值处取其差异。执行此操作的语法如下。
test %>%
group_by(prod_id) %>%
mutate(diff_p = if(any(Dich ==1)) price - price[Dich == 1] else NA)
prod_id seller_id Dich price diff_p
1 shoe a 1 120 0
2 shoe b 0 20 -100
3 shoe c 0 10 -110
4 shoe d 0 4 -116
5 shoe e 0 3 -117
6 shoe f 0 4 -116
7 boat a 0 30 -26
8 boat g 0 43 -13
9 boat h 1 56 0
10 boat r 0 88 32
11 boat q 0 75 19
12 boat b 0 44 -12
现在我想创建一个函数,使用相同的语法,在新数据框上使用该函数,并使用sparklyr :: spark_apply()获得相同的结果。
trans <- function(e) {e %>%
group_by(prod_id) %>%
mutate(diff_p = if(any(Dich ==1)) price -price[Dich == 1] else NA)
}
在他们的网站上,RStudio讨论了将R函数应用于Spark对象的使用。
https://spark.rstudio.com/guides/distributed-r/
这是一个将Spark数据框中所有列进行缩放的函数示例。 trees_tbl %>%
spark_apply(function(e) scale(e))
我想知道如何按照使用spark_apply()的说明格式编写上述函数。如果您能解释如何在函数中包含e,那将会很有帮助——e代表什么?