我对GCP和dataflow非常陌生。然而,我想开始测试和部署一些利用GCP上的dataflow的流程。根据文档和所有与dataflow相关的内容,必须使用Apache项目BEAM。因此,按照官方文档这里,支持的Python版本是2.7。
老实说,这令人非常失望,因为Python 2.x版本将消失,因为没有官方支持,而每个人都在使用版本3.x。尽管如此,我想知道是否有人知道如何在Python版本中准备好beam和GCP dataflow运行。
我看到了这个视频,某种程度上,这个人完成了这个奇妙的里程碑,并且显然在Python 3.5上运行。
更新:
各位,我只是想提出一个想法,因为我正在努力处理dataflow。我真的感到非常失望,因为无论是Java还是Python版本,都很难开始使用这个工具。从Python来看,版本3有限制,这基本上是当前标准。另一方面,Java在11版本上运行存在问题,我必须稍微调整我的代码才能在版本8上运行,然后我开始在代码中遇到许多不兼容性。简而言之,如果GCP真的想向前发展并成为#1,还有很多需要改进的地方。
解决方法:
我将我的Java版本降级到jdk 8,安装了maven,现在我的eclipse版本可以使用Apache Beam。
我终于解决了,但是GCP请考虑增强和扩展对Java / Python最新版本的支持。
非常感谢。
老实说,这令人非常失望,因为Python 2.x版本将消失,因为没有官方支持,而每个人都在使用版本3.x。尽管如此,我想知道是否有人知道如何在Python版本中准备好beam和GCP dataflow运行。
我看到了这个视频,某种程度上,这个人完成了这个奇妙的里程碑,并且显然在Python 3.5上运行。
更新:
各位,我只是想提出一个想法,因为我正在努力处理dataflow。我真的感到非常失望,因为无论是Java还是Python版本,都很难开始使用这个工具。从Python来看,版本3有限制,这基本上是当前标准。另一方面,Java在11版本上运行存在问题,我必须稍微调整我的代码才能在版本8上运行,然后我开始在代码中遇到许多不兼容性。简而言之,如果GCP真的想向前发展并成为#1,还有很多需要改进的地方。
解决方法:
我将我的Java版本降级到jdk 8,安装了maven,现在我的eclipse版本可以使用Apache Beam。
我终于解决了,但是GCP请考虑增强和扩展对Java / Python最新版本的支持。
非常感谢。