我刚接触Spark，对于紧跟在主URL后面的应用程序名称（appName）感到有些困惑。我在网上搜索了很多资料，但是没有找到一个清晰的答案。在线文章提到，一旦创建了appName，则无法更改。那么，如果同一jvm只有一个sparkcontext可用，appNames的真正用途是什么呢？能否有人给我解释一下？
谢谢。
谢谢。
1个回答
4
Spark架构由以下多个组件组成。
Driver程序：这是您打包的jar应用程序，驱动整个应用程序。驱动程序与Spark Master的一个实例通信，将作业提交到集群中。
Spark Master：Master充当驱动程序在群集中的单点联系人。它通过与集群管理器协商来分配应用程序运行所需的必要资源。
Executors/workers：它们是系统中实际处理数据框架/RDD(分布式数据)的工作马。
一个Spark Master可以同时处理多个由多个驱动程序提交的作业。为了在运行着数百个其他应用程序的集群中监视/跟踪您的特定应用程序，您需要一个标识符。这就是appName有用的地方。
- rogue-one
网页内容由stack overflow 提供, 点击上面的可以查看英文原文，
原文链接
原文链接
- 相关问题
- 8 SparkContext错误：初始化SparkContext时出错。
- 6 pyspark SparkContext问题 "正在构建另一个SparkContext"
- 18 SparkContext中的parallelize()方法
- 11 在Spark命令中，--driver-class-path的用途是什么？
- 10 Hadoop中org.apache.hadoop.mapreduce.Mapper.run()函数的目的是什么？
- 40 SparkContext、JavaSparkContext、SQLContext和SparkSession之间的区别是什么？
- 9 Hadoop程序中Configured类的用途是什么？
- 16 org.apache.hadoop.mapreduce.Job的三个构造函数已被弃用，构造Job类的最佳方式是什么？
- 3 如何使用SparkContext类中的getOrCreate()方法，以及我们从这个方法中实现的功能是什么。
- 29 DStream.foreachRDD函数的含义是什么？