我正在尝试编写一些性能意识代码，并思考是否应该为我的Dataframe上的汇总操作编写一个Aggregator或User-defined Aggregate Function（UDAF）来提高性能。我无法在任何地方找到关于这些方法的速度和哪个应该在Spark 2.0+中使用的数据。请参考以下链接：Aggregator 和 User-defined Aggregate Function。
Spark中UDAF与聚合器的性能比较
3
- Thomas Russell
2
1个回答
1
你应该编写一个 Aggregator 而不是一个 UserDefinedAggregateFunction，因为 UserDefinedAggregateFunction 会对每一行执行低效的序列化/反序列化任务。将 UserDefinedAggregateFunction 重写为 Aggregator 可以将性能从25％-30％提高到100倍，正如 在替换 UserDefinedAggregateFunction 为 Aggregator 的 pull request 中所述。
- Vincent Doba
网页内容由stack overflow 提供, 点击上面的可以查看英文原文，
原文链接
原文链接
- 相关问题
- 3 Spark UDAF：如何在UDAF（用户定义的聚合函数）中通过列字段名称从输入中获取值？
- 7 Spark中用户自定义聚合函数（UDAF）何时进行合并？
- 216 Scala与Python的Spark性能比较
- 5 Spark本地模式与HDFS性能比较
- 6 Spark：聚合器和UDAF之间有什么区别？
- 13 Spark自定义聚合：collect_list+UDF vs UDAF
- 5 Spark UDAF使用ArrayType作为bufferSchema存在性能问题
- 6 Spark：Avro与Parquet性能比较
- 16 Spark窗口函数与分组聚合的性能问题
- 9 Spark窗口聚合与Group By/Join性能比较
Rollup聚合已经被Spark SQL支持了。 - Jacek Laskowskirollup，但是使用自定义聚合函数。 - Thomas Russell