我有一个由ts_date和orid分区的Hive数据,并且以下是文件的示例云存储URL
myhivepartionedbucket/crunched-logs/mrs-suds-sloaders/loader-log/output/{year}/{month}/{Day}/{Hour}/{Min}/ts_date={yyyy-mm-dd}/orid={orid}/file.orc
以下是生产环境中的云存储实际URL地址。
myhivepartionedbucket/crunched-logs/mrs-suds-sloaders/loader-log/output/2020/08/06/00/30/ts_date=2020-08-05/orid=6691/part-202008060030.orc
这种结构对于每个月的所有日期,每小时分隔为24小时,对于所有的orid都会有相应的数据。
现在我们想要安排将这种数据加载到BigQuery中,并通过ts_date进行分区并按orid进行聚类。
我已经尝试在控制台上加载一个没有分区的文件,我能够成功地加载数据,但是如何定期安排和加载这种具有由ts_date分区和orid聚类的数据呢?
我刚开始使用GCP,对于Google提供的文档还不够理解,所以有人可以指导或给我一些在UI上运行或用Python编程的思路吗?
提前感谢。
bq mk --transfer_config
时,它会抱怨我在文件中缺少列(因此它没有获取到URI列)。 或者使用bq load
时,它会抱怨URI列已经存在。 - Georges Lorré