在Windows上安装Apache Spark

Question

我需要在Windows机器上安装Apache Spark。根据文档，我应该在我的机器上安装sbt并覆盖其默认选项以使用最多2G的RAM。

尝试了很多次后，我决定选择maven代替（我覆盖了默认选项以使用512MB），然后我运行mvn compile，它开始下载一些依赖库，直到到达Zinc服务器。它说Zinc服务器没有在8080端口运行，因此maven构建失败。

我是否需要在本地安装Zinc服务器并将其添加到Windows路径中？我能否在没有服务器的情况下编译我的项目？

- Mr.Q

---

构建Spark时根本不需要锌，它只是加速增量构建的。 - Sean Owen

请参阅更多最新建议，网址为如何在Windows上设置Spark？-Stack Overflow。 - nealmcb

你真的需要从源代码构建Spark吗？你也可以安装预构建的软件包。 - stholzm

Answer 1

我刚开始学习Apache Spark，所以我的答案可能不够准确。在Mac OS X上对我有效，但对你的情况可能有所不同。

构建过程在构建中有描述：

Spark uses Simple Build Tool, which is bundled with it. To compile the code, go into the top-level Spark directory and run

sbt/sbt assembly

我没有更改默认的构建设置来执行汇编。

昨天从源代码构建的版本：

jacek:~/oss/spark
$ sbt/sbt assembly
...
[success] Total time: 3632 s, completed May 6, 2014 2:39:07 AM

今天从源代码构建的版本中加入了一些环境变量，以将其他几个模块添加到最终组装中：

jacek:~/oss/spark
$ SPARK_HADOOP_VERSION=2.4.0 SPARK_YARN=true SPARK_HIVE=true sbt/sbt assembly
...
[success] Total time: 4564 s, completed May 7, 2014 1:49:56 AM

- Jacek Laskowski

---

我猜你可以在Mac OS上运行它，因为Mac机器有高配置（例如高RAM），但正如我之前所说，我遇到了JVM内存错误，我猜这是因为我的RAM（我安装了2Gig RAM）不够用，但我找不到任何关于SPARK最低RAM要求的文档。 - Mr.Q

使用sbt，在cmd中执行set SBT_OPTS=-Xmx1g，然后执行sbt/sbt assembly。当出现堆栈跟踪/错误时，请将其添加到您的问题中。从现在开始避免使用maven，因为我可以提供更多帮助-我比maven更了解Scala构建。 - Jacek Laskowski