gsutil - 是否可能仅列出文件夹？
使用gsutil工具，仅列出存储桶中的文件夹是否可能？ 我在这里这里看不到任何东西。 例如，我想仅列出此存储桶中的文件夹：
从Dataflow插入BigQuery之前验证行数据
根据How do we set maximum_bad_records when loading a Bigquery table from dataflow?, 目前在从Dataflow加载数据到BigQuery时，无法设置maxBadRecords配置。建议在将行插入BigQuery之前，...
如何计算Google Dataflow的成本？
我的公司正在评估是否可以使用Google Dataflow。 我在Google Cloud Platform上运行了一个数据流。控制台显示右侧的“保留CPU时间”字段为5小时25分钟。 工作器配置：n1-standard-4 启动8个工作器... 如何计算数据流的成本？根据此页面，价格为每...
谷歌云数据流卡在了一个重复错误中:“Error syncing pod...failed to "StartContainer" for "sdk" with CrashLoopBackOff”
SDK: Apache Beam SDK for Go 0.5.0 我们的Golang作业在Google Cloud Dataflow上运行了几周，一直表现良好。我们没有更新作业本身，并且SDK版本似乎与先前相同。但是，昨晚它失败了，我不确定具体原因。它达到1小时时间限制，由于没有工作人员活...
“_UnwindowedValues”类型的对象没有len()是什么意思？
我正在使用 Dataflow 0.5.5 Python。在非常简单的代码中遇到了以下错误：print(len(row_list)) row_list 是一个列表。在 DirectRunner 上，完全相同的代码、数据和管道运行得非常好，但在 DataflowRunner 上会抛出以下异常。这是...
如何在Apache Beam Dataflow中将CSV转换为字典
我想要使用apache beam dataflow读取csv文件并将其写入BigQuery。为此，我需要以字典形式向BigQuery呈现数据。我该如何使用apache beam转换数据以实现此目的？ 我的输入csv文件有两列，我想在BigQuery中创建一个包含这两列的表格。我知道如何在Big...
尝试使用DataflowRunner时出现ClassNotFound异常
我正在尝试使用Apache Beam 0.6.0在GCP上启动Dataflow作业。由于无法使用"mvn:execjava"启动作业，因此我正在使用shade插件编译uber jar。我包含了以下依赖项： <dependency> <groupId>org.apa...
Java/Dataflow - 无法使用ClassLoader检测类路径元素
我猜这更像是Java/Eclipse的一般问题，但我不是一个Java人员，我理解有困难。末尾附上堆栈跟踪。 https://github.com/apache/beam/blob/9d9ffa5f1a3a9f280dfafae15944764a568515ef/runners/google-...
将BigQuery表格流式传输到Google Pub/Sub
我有一个Google BigQuery表格，想要将整个表格流式传输到Pub/Sub主题中。应该怎么做最简单/快速？谢谢提前。
Google Cloud Dataflow中使用Python时，worker_machine_type标签无法正常工作。
我正在使用Google Cloud Dataflow（2.3.0）中的Python Apache Beam。当我将worker_machine_type参数指定为例如n1-highmem-2或custom-1-6656时，Dataflow运行作业，但每个工作程序总是使用标准机器类型n1-sta...