如何从GCS读取经gzip压缩的JSON文件并写入表格？

Question

如何从GCS读取经gzip压缩的JSON文件并写入表格？

pythonjsonpostgresqlgoogle-cloud-storagegzip

3

我有一个使用gzip压缩的json文件（.json.gz），存储在Google Cloud Storage的存储桶中，我想要读取并将其复制到PostgreSQL表中。我拥有的json.gz文件只是一个没有嵌套对象的json文件，格式如下：

[{
“date”: “2019-03-10T07:00:00.000Z”,
“type”: “chair”,
“total”: 250.0,
"payment": "cash"
},{
“date”: “2019-03-10T07:00:00.000Z”,
“type”: “shirt”,
“total”: 100.0,
"payment": "credit card"
},{
.
.
}]

之前我曾经用csv文件完成过类似的工作，在那里我可以使用download_as_string函数并将其存储在变量中，然后使用StringIO将该变量转换为类似于文件的对象，并使用copy_expert()函数与查询一起使用(这个链接)。

那么，我怎样才能使用Python读取GCS中的json.gz文件并将其写入表格中呢？

- emp

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Lukasz Tracewski · Accepted Answer

要读取数据，我建议使用gcsfs，它是一个Python接口，可访问GCS:

import gcsfs
import gzip
import json

fs = gcsfs.GCSFileSystem(project='my-project')
with fs.open('bucket/path.json.gz') as f:
    gz = gzip.GzipFile(fileobj=f) 
    file_as_string = gz.read()
    your_json = json.loads(file_as_string)

现在你有了json，你可以使用与csv相同的代码。