我可以在Jupyter/IPython中使用Hadoop吗？

Question

3

我可以在Jupyter/IPython中使用Hadoop和MapReduce吗？是否有类似于PySpark的东西可用于Spark？

- Fisseha Berhane

我们确实有Hadoop的Python API http://crs4.github.io/pydoop/。你的问题能否更具体地说明你想达到什么目的？ - Govind

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Dimitris Fasarakis Hilliard · Accepted Answer

当然可以。许多框架，如Hadoop Streaming, mrjob和dumbo等。将这些框架包含在Jupyter中的技术方面应该包括subprocess.Popen()调用或典型的Python导入，具体取决于框架。

关于这些框架的一些很好的概述/评论可以在这篇Cloudera blogpost中找到。