我可以在CDH上安装多个Spark版本吗？

Question

我正在使用cdh5.1.0，它已经默认安装了Spark。但是，我想使用Spark 1.3版本。我能够将这个版本安装到cdh5.1.0中吗？如何设置这些内容？新版本的Spark也会通过Cloudera管理器进行监控吗？

- HappyCoding

Answer 1

是的，您可以运行任何版本的Apache Spark。只需确保它是为您拥有的YARN版本（CDH 5.1.0的版本2.3）构建的即可。然后，您可以使用spark-submit将应用程序作为YARN应用程序运行。（请参见http://spark.apache.org/docs/latest/running-on-yarn.html）。它将像其他任何YARN应用程序一样进行监视。

Spark根本不需要“安装”，您只需运行您的应用程序。

- Daniel Darabos

---

可能有帮助的是，所需的Spark版本应该使用给定的Yarn版本进行构建。 - Shyamendra Solanki

如何检查我的YARN当前版本？如果当前的YARN没有Spark1.3，接下来应该怎么做？ - HappyCoding

在Spark下载页面https://spark.apache.org/downloads.html上，我没有找到适用于cdh5.1.0的预构建版本。对于hadoop 2.3 cdh版本和独立版本可能存在一些不同。这种版本差异会有影响吗？ - HappyCoding

@DanielDarabos，我能在CDH4.6.0上使用Spark吗？因为CDH4.6.0提供的是Hadoop 2.0.0，它只使用MR，没有YARN。请告诉我。 - Gibbs

如果您没有YARN，您必须在独立模式下运行Spark。（您必须自己启动Spark主节点和工作节点。）在这种情况下，Spark使用的Hadoop仅限于HDFS。其他所有内容都是完全独立的。 - Daniel Darabos

Answer 2

请在控制台中使用sudo访问和密码执行以下命令...它将更新您的Spark当前版本到最新版本。

sudo yum install spark-core spark-master spark-worker spark-history-server spark-python
sudo yum install spark-core spark-history-server spark-python

- PRAFULLA KUMAR DASH

---

虽然这可能是解决问题的有价值的提示，但回答需要比这更详细的说明。请编辑以解释如何回答问题。或者，考虑将其编写为评论。 - Toby Speight