如何检查Spark版本

Question

我想检查 CDH 5.7.0 中的 Spark 版本。我在互联网上搜索过，但无法理解。请帮忙。

- Ironman

---

请参阅 何时可以对问题进行负分投票？ 在 [meta] 上的相关内容。 - tripleee

但在发布之前，我尝试了一些方法。我没有找到任何帮助，所以才在这里发布。 - Ironman

然后展示你的努力。 - tripleee

以编程方式查找Spark版本是最好的。这肯定是我的代码正在使用的版本。如何在Python中实现？谢谢。 - Geoffrey Anderson

#打印(pyspark.version()) #打印(pyspark.version()) import pyspark #打印(pyspark.version()) #打印(pyspark.version()) print(pyspark.version) #这个有效 - Geoffrey Anderson

Answer 1

对于 @Binary Nerd 的补充：

如果您正在使用 Spark，请使用以下方法获取 Spark 版本：

spark-submit --version

或者

登录到 Cloudera Manager 并转到“主机”页面，然后运行inspect hosts in cluster

- BruceWayne

---

我得到了“ga@ ga-HP-Z820：/ mnt / fastssd / bot_subreddit_recom $ spark-submit --version> spark-submit：找不到命令”的错误提示。 - Geoffrey Anderson

请检查您的SPARK_HOME配置。 - BruceWayne

我收到了一个 NameError: name 'submit' is not defined 错误。 - Gabriel Fair

你能分享一下你的命令吗？ - BruceWayne

太糟糕了，输出有荒谬的 ASCII 艺术，使得解析变得困难 :( - Jeff Evans

Answer 2

您可以使用以下命令获取Spark版本：

spark-submit --version

spark-shell --version

spark-sql --version

你可以访问下面的网站了解CDH 5.7.0中使用的Spark版本。 http://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_rn_new_in_cdh_57.html#concept_m3k_rxh_1v

- Kiran Krishna Innamuri

---

spark-sql --version 不起作用。以上两个都正常工作。 - Farooque

Answer 3

根据Cloudera的文档 - CDH 5.7.0中的新内容，它包括Spark 1.6.0。请参见：CDH 5.7.0中的新内容和Spark 1.6.0。

- Binary Nerd