将Apache Livy与spark-jobserver进行比较
我知道 Apache Livy 是与Spark交互的REST接口。那么使用Apache Livy相比于spark-jobserver有哪些优势呢？同时，spark-jobserver有哪些缺点可以使用Livy作为替代方案？在互联网上找不到太多相关资料。请您帮助我澄清这些问题。 谢谢。
如何在EMR集群引导程序上设置livy.server.session.timeout？
我正在创建一个EMR集群，并使用jupyter笔记本运行一些Spark任务。 我的任务在执行约1小时后死亡，错误是： An error was encountered: Invalid status code '400' from https://xxx.xx.x.xxx:18888/ses...
Spark节点一直打印GC（分配失败），且没有任务运行。
我正在使用Scala运行Spark作业，但是我的工作节点没有执行任务而被卡住了。 目前我正在将其提交给Livy，然后通过以下配置将其提交到我们带有8个核心和12GB RAM的Spark集群： data={ 'file': bar_jar.format(bucket_name), ...
为什么要使用Livy或Spark-Jobserver而不是一个简单的Web框架？
我正在基于Apache Spark构建RESTful API。使用spark-submit提供以下Python脚本似乎运行良好：import cherrypy from pyspark.sql import SparkSession spark = SparkSession.builder....
Livy服务器：如何将DataFrame以JSON格式返回？
我正在使用HTTP POST调用以以下主体执行Livy服务器中的语句：localhost:8998/sessions/0/statements。 { "code": "spark.sql(\"select * from test_table limit 10\")" } 我希望您能以...
Apache Livy不能与本地jar文件一起使用。
我正在尝试使用spark-submit运行本地jar文件，这个过程非常顺利。以下是命令： spark-submit --class "SimpleApp" --master local myProject/target/scala-2.11/simple-project_2.11-1.0.j...
Jupyter如何在Docker容器中启动内核？
我想要轻松地在不同内核之间切换笔记本电脑。其中一个用例是快速测试tensorflow 2、2.2、2.3的代码，还有许多类似的用例。但是我现在更喜欢将我的环境定义为dockers，而不是不同的（conda）环境。 我知道你可以在容器中启动jupyter，但那不是我想要的。我希望只需点击Ker...