如何使用两个版本的Spark Shell？

Question

我在我的Hortonworks集群上安装了Spark 1.6.2和Spark 2.0。

这两个版本都安装在5个节点的Hadoop集群中的一个节点上。

每次我启动spark-shell时，都会收到以下提示：

$ spark-shell
Multiple versions of Spark are installed but SPARK_MAJOR_VERSION is not set
Spark1 will be picked by default

当我检查版本时，我得到：

scala> sc.version
res0: String = 1.6.2

我怎样启动另一个版本（Spark 2.0的spark-shell）？

- Ani Menon

---

参考答案：选择Spark版本 - Ani Menon

Answer 1

export SPARK_MAJOR_VERSION=2 

您只需要提供主要版本号，即2或1。

$ export SPARK_MAJOR_VERSION=2
$ spark-submit --version
SPARK_MAJOR_VERSION is set to 2, using Spark2
Welcome to
   ____              __
  / __/__  ___ _____/ /__
 _\ \/ _ \/ _ `/ __/  '_/
/___/ .__/\_,_/_/ /_/\_\   version 2.0.0.2.5.0.0-1245

- Anshul Sao

---

这与前一个答案相同。 - Ani Menon

在其他答案中提到了2.0.0，您只需要设置主版本号$ export SPARK_MAJOR_VERSION=2 $ spark-submit --version SPARK_MAJOR_VERSION被设置为2，使用Spark2。 - Anshul Sao

Answer 2

这种方法的工作原理：

spark-shell

加载Spark 1.6

在输入时

spark2-shell

加载 Spark 2.0

- Taylrl

Answer 3

使用 spark2-submit、pyspark2 或 spark2-shell。

- AlphaBetaGamma

Answer 4

$ SPARK_MAJOR_VERSION=2 spark-shell

- Gouri Mahapatra

Answer 5

如果您使用的是Windows 8或10，请更改Spark2版本或Spark3版本的spark_home环境变量，并更改路径变量。然后关闭终端并重新启动它。

启动SparkShell，您将能够看到您的默认版本。

- ChethanRaj