logo标签列表

如何检查Spark的版本

apache-sparkcloudera-cdh
84

如标题所述，我该如何知道在CentOS中安装了哪个版本的Spark？

当前系统已安装cdh5.1.0。

16个回答
108
如果您使用Spark-Shell，则它将出现在启动时的横幅中。
在程序中，可以使用SparkContext.version。
4
在Python shell中出现了<property object at 0x7f8d2afb2998>。 - Piko Monde
3
@PikoMonde版本是SparkContext类上的一个属性，因此您只需要在该类的实例上调用它。 - Joshua Ostrom
2
是的，我刚意识到这一点。我认为，对于像我这样的新手来说，在 Python 和 Spark 上编写完整的代码（以编程方式）会很有帮助。在这里，我编写了完整的代码下面。 - Piko Monde
我正在运行不同版本的pyspark和spark core，有没有办法打印出spark core的版本？到目前为止，所有的方法都只能获取到pyspark的版本。 - undefined
41

打开 Spark shell 终端，运行 sc.version 命令。

在此输入图片描述

38

您可以使用spark-submit命令： spark-submit --version

34

在 Spark 2.x 的程序/Shell 中，

使用

spark.version

spark变量是一个SparkSession对象。

在spark-shell开始时使用控制台日志

[root@bdhost001 ~]$ spark-shell
Setting the default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel).
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.2.0
      /_/

无需编写代码/命令

spark-shell --version

[root@bdhost001 ~]$ spark-shell --version
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.2.0
      /_/
                        
Type --help for more information.

spark-submit --version

[root@bdhost001 ~]$ spark-submit --version
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.2.0
      /_/
                        
Type --help for more information.
有时候会是 spark2-shell --version 或者 spark2-submit --version。 - mrsrinivas
14

如果你正在使用 Databricks 并与笔记本交互，只需运行：

spark.version
5

如果你正在使用pyspark，你可以在下面显示的粗体Spark标志旁看到正在使用的Spark版本:

manoj@hadoop-host:~$ pyspark
Python 2.7.6 (default, Jun 22 2015, 17:58:13)
[GCC 4.8.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel).

Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version 1.6.0
      /_/

Using Python version 2.7.6 (default, Jun 22 2015 17:58:13)
SparkContext available as sc, HiveContext available as sqlContext.
>>>

如果您想明确获取Spark版本，可以使用下面显示的SparkContext版本方法：

>>>
>>> sc.version
u'1.6.0'
>>>
4

如果您使用的是Zeppelin笔记本，可以运行以下命令：

sc.version

要知道Scala版本，您可以运行以下命令：

util.Properties.versionString
4
无论您使用 spark-shell 还是 pyspark，都会出现一个带有版本名称的 Spark logo。 $ pyspark $ Python 2.6.6 (r266:84292, May 22 2015, 08:34:51) [GCC 4.4.7 20120313 (Red Hat 4.4.7-15)] on linux2 ............ ........... 欢迎使用 版本 1.3.0
4

使用以下命令获取Spark版本号：

spark-submit --version
4

如果您想通过程序打印版本，请使用以下方法

 from pyspark.sql import SparkSession 

 spark = SparkSession.builder.master("local").getOrCreate() 
 print(spark.sparkContext.version)
网页内容由stack overflow 提供, 点击上面的
可以查看英文原文，
原文链接