关联标签
18得票1回答
beam.ParDo和beam.Map在输出类型方面有何区别？
我正在使用Apache-Beam进行一些数据转换，包括从txt、csv和不同的数据源中提取数据。我注意到一件事情，就是使用beam.Map和beam.ParDo时结果的差异。 在下一个示例中： 我正在读取csv数据，在第一种情况下，将其传递给DoFn使用beam.ParDo，它会提取第一个...
10得票6回答
通过Google Cloud Dataflow创建/写入分区BigQuery表
我想利用新的BigQuery时间分区表功能，但不确定在Dataflow SDK的1.6版本中是否可以实现。查看BigQuery JSON API，要创建一个按天分区的表，需要传入一个"timePartitioning": { "type": "DAY" } 虽然选项很多，但是com.googl...