我可以使用以下代码将json文件读入Pyspark数据框中:
spark = SparkSession.builder.appName('GetDetails').getOrCreate()
df = spark.read.json("path to json file")
然而,当我尝试将一个压缩的 csv 文件(.bz2格式)读取到数据框中时,就会出现错误。以下是我使用的代码:
spark = SparkSession.builder.appName('GetDetails').getOrCreate()
df = spark.read.load("path to bz2 file")
你能帮我纠正一下吗?
spark.read.load
期望的是“parquet”格式。 - Sergiy Sokolenko