我希望在使用SparkContext加载文件之前,能够检查这些文件是否存在于hdfs中。我使用的是pyspark。我尝试过
os.system("hadoop fs -test -e %s" %path)
,但由于需要检查的路径很多,作业崩溃了。我还尝试过sc.wholeTextFiles(parent_path)
,然后按键过滤,但是由于parent_path包含了很多子路径和文件,也崩溃了。你能帮我吗?