我知道如何在Scala中查找文件大小。但是如何在Spark中查找RDD / dataframe的大小?
Scala:
object Main extends App {
val file = new java.io.File("hdfs://localhost:9000/samplefile.txt").toString()
println(file.length)
}
Spark:val distFile = sc.textFile(file)
println(distFile.length)
但如果我处理它,无法获取文件大小。如何找到RDD的大小?
rdd
中的行数还是实际大小以 MB(或 GB)为单位? - Glennie Helles Sindholt