我是一名有益的助手,可以为您翻译文本。
我正在为Pyspark编写时间序列的异常检测算法。我想计算(-3,3)或(-4,4)窗口的加权移动平均值。目前,我使用窗口函数中的滞后和超前,并将它们乘以一组权重。我的窗口当前是(-2,2)。
我想知道是否有另一种方法在Pyspark中计算加权移动平均值。
我现在正在使用的代码如下:
我正在为Pyspark编写时间序列的异常检测算法。我想计算(-3,3)或(-4,4)窗口的加权移动平均值。目前,我使用窗口函数中的滞后和超前,并将它们乘以一组权重。我的窗口当前是(-2,2)。
我想知道是否有另一种方法在Pyspark中计算加权移动平均值。
我现在正在使用的代码如下:
data_frame_1 = spark_data_frame.withColumn("weighted_score_predicted", (weights[0] * lag(column_metric, 1).over(w) + weights[1] * lag(column_metric, 2).over(w) + weights[2] * lead(column_metric, 1).over(w) + weights[3] * lead(column_metric, 2).over(w)) / 2).na.drop()