我是新手,对Spark不熟悉。我试图使用SparkSQL解析下面提到的JSON文件,但失败了。有人能帮我解决吗?
输入JSON:
[{"num":"1234","Projections":[{"Transactions":[{"14:45":0,"15:00":0}]}]}]
期望输出:
1234 14:45 0\n
1234 15:00 0
我尝试了以下代码,但它没有起作用。
val sqlContext = new SQLContext(sc)
val df = sqlContext.read.json("hdfs:/user/aswin/test.json").toDF();
val sql_output = sqlContext.sql("SELECT num, Projections.Transactions FROM df group by Projections.TotalTransactions ")
sql_output.collect.foreach(println)
输出:
[01532,WrappedArray(WrappedArray([0,0]))]
sql_output.show()
来查看数据框。 - OneCricketeer