以文件大小为顺序递归列出HDFS文件夹中的文件

Question

如果我需要按文件大小递归列出HDFS文件夹中的文件，是否有任何脚本可以参考？

谢谢提前， 林

- Lin Ma

Answer 1

bin/hdfs dfs -ls -R / | sort -r -n -k 5

- kostya

Answer 2

尽管@kostya提供了出色的答案，但使用一些awk可以帮助重新排列输出，以改善下游进程。

hdfs dfs -ls -R ${hdfspath} 2> ${hdfsname}.err \
|awk "{ printf \"%s:%s:%s:%s:%s\n\",\$5,\$6,\$3,\$1,\$8; }" \
|sort -rn > hdfs-${hdfsname}.du

- ChuckCottrill