变量 hFile = sc.textFile("hdfs://localhost:9000/ex1/cen.csv")，输入路径不存在错误。

Question

我正在尝试在Spark中访问Hadoop文件，但是遇到了这个错误。

org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://localhost:9000/ex1/cen.csv
  at org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:287)

我能够展示Hadoop中的文件

hadoop dfs -cat ex1/cen.csv

- Sneha Nadar

---

你试过使用 .textFile("file:///文件路径/") 吗？ - Leo

是的...不起作用 - Sneha Nadar

Answer 1

我已经解决了这个问题。我尝试了命令 hdfs dfs -ls / 并使用了在此列表中显示的文件夹目录路径，它正常工作了。我猜问题出在路径上。

- Sneha Nadar

Answer 2

将 hive-site.xml 文件放入 Spark 的 conf 文件夹中，问题就会得到解决！

- rahul sharma

Answer 3

当你尝试时

hadoop dfs -cat ex1/cen.csv

在HDFS中读取文件的路径为

/user/.../ex1/cen.csv 

但是如果你尝试一下

hadoop dfs -cat /ex1/cen.csv

目录/ex1必须放置在根目录/中。您正在尝试做什么？

 hdfs://localhost:9000/ex1/cen.csv

是从根目录读取的，我想你的文件不在那里

/ex1/cen.csv

ex1/cen.csv

有不同的路径。

- Chema