笔记本很好，但是REPL有时更加有用。我是否可以以某种方式运行在Databricks上执行的spark-shell？例如：
spark-shell --master https://adb-5022.2.azuredatabricks.net/
我查看了与Databricks相关的可用工具（如databricks connect、dbx等），但似乎没有这样的功能。
Databricks 的 Spark shell
3
我查看了与Databricks相关的可用工具（如databricks connect、dbx等），但似乎没有这样的功能。
- Kombajn zbożowy
1个回答
1
Databricks connect是您需要的工具，如果您想要在Databricks集群中从本地计算机执行代码。与
spark-shell相同，驱动程序将位于您的本地计算机上，而执行器则是远程的。 databricks-connect软件包安装了修改后的Apache Spark分发版，因此您可以使用spark-shell，pyspark，spark-submit等工具 - 只需确保该目录在PATH中即可。
P.S. 但我真的不明白为什么笔记本对您不起作用 - spark-shell没有任何比它们更优越的功能。
- Alex Ott
4
网页内容由stack overflow 提供, 点击上面的可以查看英文原文，
原文链接
原文链接
- 相关问题
- 9 Databricks和Spark有什么区别？
- 5 Databricks（Spark SQL）表的索引
- 10 Spark Shell - __spark_libs__.zip不存在。
- 4 使用Docker镜像本地运行Databricks（Spark）
- 24 Spark shell命令行
- 6 Databricks：将Spark DataFrame 直接写入Excel
- 6 无需使用Spark集群运行Azure Databricks
- 7 Azure Databricks：如何在Databricks集群中添加Spark配置
- 5 Databricks Spark：java.lang.OutOfMemoryError：超出GC开销限制
- 6 Databricks和Spark中的常用表达式（CTEs）
databricks-connect test，它使用pyspark shell运行一些测试，但然后指令跳到设置IDE。Databricks-connect使用说明说：usage: databricks-connect [-h] {configure,test,get-jar-dir,get-spark-home}。实际上没有直接运行REPL的选项。 - Kombajn zbożowy