我正在使用Spark 2.3.1的结构化流API。是否可以对Spark流数据框的列中的值进行排名?我尝试使用以下代码,但在异常消息后意识到流上下文无法迭代整个窗口。
.withColumn("rank", row_number().over(Window.orderBy($"transactionTime")))
throws
org.apache.spark.sql.AnalysisException: 流式数据框/数据集不支持非基于时间的窗口
有人能帮我想出一个计算排名/百分位数的方法吗?