我需要下载并将托管在S3上的Parquet文件转换为JSON。过去,我可以使用SQL使用select_object_content将某些文件输出为JSON。但是,对于更大的文件,它会超时,因此我需要找到更快的方法。
我已经尝试了以下方法:
我已经尝试了以下方法:
df = pd.read_parquet(s3_location)
df = df.to_json(orient="records")
然而,上述代码的JSON输出包含键路径 (hotels.date.hotel_price),而不是 hotels:{date:{hotel_price: 100}} 这样的格式。
请问有没有一种方法可以使其以第二种JSON格式输出?