我是一个新手,正在尝试在Spark中设置一个最小的两节点集群。但我仍然有些困惑:我是不是必须首先搭建完整的Hadoop安装包,或者Spark已经内置了Hadoop版本?关于Spark的资料并没有真正解释清楚这一点。我了解到,Spark是作为Hadoop的扩展而设计的,而不是替代它,但如果它需要独立运行的Hadoop系统,对我来说并不清楚。我需要一个HDFS,那么只使用Hadoop的文件系统部分是否就足够了?请问有人能向我指出这个可能显而易见的问题吗?
Apache Spark独立于Hadoop。Spark允许您使用不同的数据源(包括HDFS),并且能够在独立集群中运行,或者使用现有的资源管理框架(例如YARN、Mesos)。
因此,如果您只对Spark感兴趣,则无需安装Hadoop。