33得票9回答
突然出现的导入错误:无法从'requests.packages.urllib3.contrib'导入'appengine'的名称,在管道上出错。

我的管道和调度程序运行得非常顺畅,没有任何问题。午餐后,我更改了神经网络运行的时代数量,重新保存了 .yaml 文件,并将其放在名为“budgetff”的桶中。 之后,一切都停止工作了。 这里有一些错误,我完全不知道它们是如何出现的。组件内的代码甚至似乎没有开始执行。我尝试了几个不...

18得票7回答
生成数据集迭代器完成时发生错误:已取消:操作被取消。

在运行使用TensorFlow 2.0的代码的Kubeflow管道时,每个epoch结束时都会显示以下错误: W tensorflow/core/kernels/data/generator_dataset_op.cc:103] 在终止GeneratorDataset迭代器时发生错误:...

15得票3回答
Kubeflow与Vertex AI Pipelines比较

我正在探索Kubeflow管道和Vertex AI管道。据我所知,Vertex AI管道是Kubeflow管道的托管版本,因此不需要部署完整的Kubeflow实例。在这方面,除了价格之外,Vertex AI管道是更好的选择。但是,在Kubeflow中,一个人可以创建实验, 在Vertex AI...

14得票2回答
Airflow和Kubeflow Pipeline有什么区别?

机器学习平台是业务中的热门词汇之一,为了加速发展ML或Deep learning。 常见的部分包括工作流编排器或工作流调度器,可帮助用户构建DAG,安排和跟踪实验、任务和运行。 许多机器学习平台都有工作流编排器,例如Kubeflow pipeline、FBLearner Flow、Flyt...

10得票3回答
如何在Python中在Kubeflow容器化组件之间传递数据或文件

我正在探索使用Kubeflow部署和连接典型ML流水线的各个组件。我将docker容器作为Kubeflow组件,并且到目前为止,我无法成功地使用ContainerOp.file_outputs对象在组件之间传递结果。 根据我对该功能的理解,创建并保存到被声明为一个组件的file_output...

8得票6回答
如何在组件内获取运行的ID?

我正在使用Kubeflow Pipelines进行一些实验,并且有兴趣检索运行ID以及与管道执行相关的一些元数据。是否可以从像ContainerOp这样的组件中获取该信息?

7得票3回答
Kubeflow管道动态输出列表作为输入参数

我使用ParallelFor来处理一个动态列表。我希望收集循环中的所有输出,并将它们传递给另一个ContainerOp。类似下面这样做,但显然行不通,因为outputs列表是静态的。 with dsl.ParallelFor(op1.output) as item: op2 = ds...