我正在尝试这个教程 http://spark.apache.org/docs/latest/quick-start.html 我首先从一个文件创建了一个集合
textFile = sc.textFile("README.md")
然后我尝试了一个命令来统计单词数：
wordCounts = textFile.flatMap(lambda line: line.split()).map(lambda word: (word, 1)).reduceByKey(lambda a, b: a+b)
打印集合：
wordCounts.collect()
我发现可以使用sortByKey命令按单词对其进行排序。我想知道如何按值排序，即在此情况下，按单词在文档中出现的次数进行排序。
通常应该在调用collect()之前进行排序，因为这会将数据集返回给驱动程序，并且这也是以Java编程方式编写Hadoop MapReduce作业的方式，以便您想要的最终输出被写入（通常）到HDFS。使用Spark API，这种方法提供了在所需位置以“原始”形式编写输出的灵活性，例如将其写入文件，以便可以将其用作进一步处理的输入。
使用Spark的Scala API，在调用collect()之前进行排序可以按照eliasah的建议并使用Tuple2.swap()两次来完成，一次在排序之前，一次在排序之后，以产生按其第二个字段（命名为_2）递增或递减排序的元组列表，并包含其第一个字段（命名为_1）中单词数量的计数。以下是在spark-shell中如何编写此脚本的示例：
// this whole block can be pasted in spark-shell in :paste mode followed by <Ctrl>D
val file = sc.textFile("some_local_text_file_pathname")
val wordCounts = file.flatMap(line => line.split(" "))
.map(word => (word, 1))
.reduceByKey(_ + _, 1) // 2nd arg configures one task (same as number of partitions)
.map(item => item.swap) // interchanges position of entries in each tuple
.sortByKey(true, 1) // 1st arg configures ascending sort, 2nd arg configures one task
.map(item => item.swap)
file = sc.textFile("file:some_local_text_file_pathname")
wordCounts = file.flatMap(lambda line: line.strip().split(" ")) \
.map(lambda word: (word, 1)) \
.reduceByKey(lambda a, b: a + b, 1) \ # last arg configures one reducer task
.map(lambda (a, b): (b, a)) \
.sortByKey(1, 1) \ # 1st arg configures ascending sort, 2nd configures 1 task
.map(lambda (a, b): (b, a))
Array.sortBy(_._2)
sortBy也可以接受一个可选的隐式math.Ordering参数，就像Romeo Kienzler在此问题的先前答案中所展示的那样。Array.sortBy（_._2）将通过在运行map-reduce脚本之前定义一个隐式反向排序来对其_2字段上的Array Tuple2元素进行反向排序，因为它会覆盖Int的现有排序。 Romeo Kienzler已经定义的反向int Ordering是：
// for reverse order
implicit val sortIntegersByString = new Ordering[Int] {
override def compare(a: Int, b: Int) = a.compare(b)*(-1)
}
// for reverse order
implicit val sortIntegersByString = new Ordering[Int] {
override def compare(a: Int, b: Int) = b.compare(a)
}
用更符合 Python 风格的方式实现。
# In descending order
''' The first parameter tells number of elements
to be present in output.
'''
data.takeOrdered(10, key=lambda x: -x[1])
# In Ascending order
data.takeOrdered(10, key=lambda x: x[1])
对于那些想要按值排序并获取前N个元素的人：
theRDD.takeOrdered(N, lambda (key, value): -1 * len(value))
如果您希望按字符串长度进行排序。
另一方面，如果值已经以适合您所需的顺序形式存在，则：
theRDD.takeOrdered(N, lambda (key, value): -1 * value)
足以满足。
你可以这样做
// for reverse order
implicit val sortIntegersByString = new Ordering[Int] {
override def compare(a: Int, b: Int) = a.compare(b)*(-1)
}
counts.collect.toSeq.sortBy(_._2)
基本上，您需要将RDD转换为序列，然后使用sort方法对其进行排序。
上面的代码块全局更改了排序行为，以获取降序排序。
sortBy转换（不是一个动作，即它返回一个RDD而不是一个数组），文档在此处中有所介绍。因此，在你的情况下，你可以执行以下操作：wordCounts.sortBy(lambda (word, count): count)
按值对输出进行排序的最简单方法是，在reduceByKey之后，您可以交换输出，将键作为值，将值作为键，然后可以使用sortByKey方法，其中false表示按降序排序。默认情况下，它会按升序排序。
val test=textFile.flatMap(line=> line.split(" ")).map(word=> (word, 1)).reduceByKey(_ + _).map(item => item.swap).sortByKey(false)
@kef提供的Python解决方案非常准确...
接下来需要更改的是-
.map(lambda (a, b): (b, a))
to
.map(lambda a: (a[1], a[0]))
wordCounts.map(lambda (a,b) : (b,a)).sortByKey(ascending=False).map(lambda (a,b) : (b,a)).collect()
使用SCALA进行sortByValue的更好方法是：
val count = oozie.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_ + _).sortBy(x => x._2)
x._2代表列表x的第二个元素。
要按降序排序，请使用“-x._2”。
scala> val count = oozie.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_ + _).sortBy(x => -x._2)
count: org.apache.spark.rdd.RDD[(String, Int)] = MapPartitionsRDD[26] at sortBy at <console>:25
scala> count.take(10)
res6: Array[(String, Int)] = Array((the,4603), (to,1707), (and,1595), (of,1337), (a,1319), (Oozie,1302), (in,1131), (.,994), (is,956), (for,753))
out = wordCounts.collect()
outSort = sorted(out, key=lambda word:word[1])
textFile.flatMap(lambda line: line.split()).map(lambda word: (word, 1)).reduceByKey(lambda a, b: a+b).map(item => item.swap).sortByKey()？ - eliasahmap(lambda (x,y):(y,x))而不是map(item=>item.swap)。请注意，在翻译过程中，我已经尽力使语言简洁易懂，但并未更改原意。 - Nick ChammassortByKey(0)来进行降序排序。 - hamed