我需要使用控制台将BigQuery中的一张大表(20亿行数据)以CSV格式转移到Cloud Storage。我需要指定一个带*的uri来对文件进行分片导出,每个CSV文件都有一个标题行,在Cloud Storage中会生成约400个CSV文件。这使得合并文件变得耗时,因为我需要将CSV文件下载到另一台机器上,删除标题行,再合并文件,最后重新上传。合并后的CSV文件大小约为48GB。是否有更好的方法可以解决这个问题?
configuration.extract.printHeader
选项设置为false
来完成的。有关更多信息,请参见文档。命令行实用程序也应该能够做到这一点。cat
命令。但是,您还可以尝试通过使用compose
操作直接从Cloud Storage连接文件。在此处查看更多详细信息。组合可以从API或命令行实用程序执行。