Spark API文档展示了如何从数据集或数据框发送到标准输出的位置获取漂亮的打印片段。
这个输出是否可以定向到log4j记录器?或者,有人能分享创建类似于df.show()格式化输出的代码吗?
是否有一种方法可以在将.show()输出推送到记录器之前和之后都允许stdout进入控制台?
http://spark.apache.org/docs/latest/sql-programming-guide.htm
val df = spark.read.json("examples/src/main/resources/people.json")
// Displays the content of the DataFrame to stdout
df.show()
// +----+-------+
// | age| name|
// +----+-------+
// |null|Michael|
// | 30| Andy|
// | 19| Justin|
// +----+-------+