我看到了一篇关于Dataframes的教程,链接为https://databricks.com/blog/2015/02/17/introducing-dataframes-in-spark-for-large-scale-data-science.html,该教程使用Python编写。我正在尝试将其翻译成Scala。
他们有以下代码:
所以,我首先从一个 csv 文件中读取数据到一个名为 df 的数据框中,然后我有以下代码:
他们有以下代码:
df = context.load("/path/to/people.json")
# RDD-style methods such as map, flatMap are available on DataFrames
# Split the bio text into multiple words.
words = df.select("bio").flatMap(lambda row: row.bio.split(" "))
# Create a new DataFrame to count the number of words
words_df = words.map(lambda w: Row(word=w, cnt=1)).toDF()
word_counts = words_df.groupBy("word").sum()
所以,我首先从一个 csv 文件中读取数据到一个名为 df 的数据框中,然后我有以下代码:
val title_words = df.select("title").flatMap { row =>
row.getAs[String("title").split(" ") }
val title_words_df = title_words.map( w => Row(w,1) ).toDF()
val word_counts = title_words_df.groupBy("word").sum()
但我不知道:
如何将字段名称分配给以val title_words_df = ...开头的行中的行
我遇到了错误“值toDF不是org.apache.spark.rdd.RDD [org.apache.spark.sql.Row]的成员”
提前感谢您的帮助。