在Pycharm中使用EMR调试Pyspark

Question

7

有没有人有使用Pycharm在AWS EMR上运行Pyspark并进行调试的经验？

我找不到任何关于这个问题的好指南或现有线程。

我知道如何使用Intellij针对EMR调试Scala-Spark，但我没有使用Python进行调试的经验。

我知道可以使用ssh（EMR Master）连接远程服务器，也许使用专业版可以使用远程部署功能在Pycharm中运行我的spark作业，但我不确定它是否能正常工作，我想知道有没有人尝试过，在我购买Pycharm Pro之前先确认一下。

- Ron F

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Ron F · Accepted Answer

我想要在EMR上调试Pyspark。请查看这篇介绍如何做到这一点的Medium博客文章：

本文介绍如何使用Pycharm Pro的远程部署功能来调试您的pyspark程序。