logo标签列表

在 IntelliJ IDEA 上设置 Mac 上的 Hadoop

macoshadoopintellij-ideamapreduce
3

已使用brew安装了hadoop，现在想在IntelliJ IDEA中运行hadoop作业。如何设置环境并解决依赖关系？

1个回答
3

经过很长时间的努力，我终于能够在IntelliJ IDEA中运行Hadoop作业了。希望这对其他人也能节省时间。

brew upgrade hadoop

已在/usr/local/Cellar/hadoop/2.x.x中安装/更新了hadoop。

现在，我们将尝试从此位置导入依赖项到我们的IntelliJ中。

  1. 启动IntelliJ并单击“创建新项目”。
  2. 创建一个Java项目。
  3. 转到文件 -> 项目结构 -> 在模块中选择项目模块 -> 选择依赖项选项卡 -> 选择底部的‘+’并单击Jars或目录 -> 从Hadoop安装中导入依赖项。

enter image description here

  1. 要导入依赖项，请首先选择../hadoop-2.x.x/share/hadoop/内的所有文件夹。

enter image description here

重复第4步，并导入../Hadoop-2.x.x/share/hadoop/common/lib文件夹。

enter image description here

Hadoop环境已与IntelliJ Java项目集成。您可以创建新的Java类来实现您的驱动程序、映射器、减速器等。

1
你应该使用Maven/Gradle而不是手动添加JAR文件。 - OneCricketeer
嗨 @cricket_007，你能否提供一步一步的过程吗？我不是Maven/Gradle基础IDE的专家。 - Atul Kaushik
对不起，这个问题对于Stackoverflow来说太宽泛了。主要的观点是，您可以使用任何或不使用任何集成开发环境（IDE），只要能在实际的Hadoop集群中构建您的代码即可。 - OneCricketeer
网页内容由stack overflow 提供, 点击上面的
可以查看英文原文，
原文链接