在Spark文档中,聚合器(Aggregator)是:
抽象类Aggregator[-IN, BUF, OUT]扩展自Serializable。它是用户定义聚合的基类,可用于数据集操作中,将一组元素缩减为单个值。
UserDefinedAggregateFunction是:
抽象类UserDefinedAggregateFunction扩展自Serializable。它是实现用户定义聚合函数(UDAF)的基类。
根据Dataset Aggregator - Databricks,“聚合器类似于UDAF,但接口是以JVM对象而不是Row表示的。”
除了接口中的类型之外,这两个类似乎非常相似,还有哪些区别?
一个类似的问题是:Performance of UDAF versus Aggregator in Spark
抽象类Aggregator[-IN, BUF, OUT]扩展自Serializable。它是用户定义聚合的基类,可用于数据集操作中,将一组元素缩减为单个值。
UserDefinedAggregateFunction是:
抽象类UserDefinedAggregateFunction扩展自Serializable。它是实现用户定义聚合函数(UDAF)的基类。
根据Dataset Aggregator - Databricks,“聚合器类似于UDAF,但接口是以JVM对象而不是Row表示的。”
除了接口中的类型之外,这两个类似乎非常相似,还有哪些区别?
一个类似的问题是:Performance of UDAF versus Aggregator in Spark