我们有一个基于Spark独立版的程序,在该程序中,我们使用SparkContext和SqlContext进行大量查询。现在,我们想要将系统部署在运行在Yarn上的Spark上。但是,当我们将spark.master修改为yarn-cluster时,应用程序会抛出异常,显示只适用于spark-submit类型。当我们切换到yarn-client时,尽管不再抛出异常,但它无法正常工作。
似乎如果在Yarn上运行,我们不能再使用SparkContext来工作,而是应该使用像yarn.Client这样的东西,但是这样我们不知道如何更改我们的代码以实现之前使用SparkContext和SqlContext所做的事情。
有没有好方法来解决这个问题?我们能否从yarn.Client获得SparkContext,或者我们应该改变我们的代码来利用yarn.Client的新接口?
谢谢!
似乎如果在Yarn上运行,我们不能再使用SparkContext来工作,而是应该使用像yarn.Client这样的东西,但是这样我们不知道如何更改我们的代码以实现之前使用SparkContext和SqlContext所做的事情。
有没有好方法来解决这个问题?我们能否从yarn.Client获得SparkContext,或者我们应该改变我们的代码来利用yarn.Client的新接口?
谢谢!