有没有人有使用Pycharm在AWS EMR上运行Pyspark并进行调试的经验?
我找不到任何关于这个问题的好指南或现有线程。
我知道如何使用Intellij针对EMR调试Scala-Spark,但我没有使用Python进行调试的经验。
我知道可以使用ssh(EMR Master)连接远程服务器,也许使用专业版可以使用远程部署功能在Pycharm中运行我的spark作业,但我不确定它是否能正常工作,我想知道有没有人尝试过,在我购买Pycharm Pro之前先确认一下。
有没有人有使用Pycharm在AWS EMR上运行Pyspark并进行调试的经验?
我找不到任何关于这个问题的好指南或现有线程。
我知道如何使用Intellij针对EMR调试Scala-Spark,但我没有使用Python进行调试的经验。
我知道可以使用ssh(EMR Master)连接远程服务器,也许使用专业版可以使用远程部署功能在Pycharm中运行我的spark作业,但我不确定它是否能正常工作,我想知道有没有人尝试过,在我购买Pycharm Pro之前先确认一下。
我想要在EMR上调试Pyspark。请查看这篇介绍如何做到这一点的Medium博客文章:
https://medium.com/explorium-ai/debugging-pyspark-with-pycharm-and-aws-emr-d50f90077c92
本文介绍如何使用Pycharm Pro的远程部署功能来调试您的pyspark程序。