例如，我想在一个列中将所有等于0.2的数字替换为0。在Scala中该怎么做？谢谢。
编辑：
|year| make|model| comment |blank|
|2012|Tesla| S | No comment | |
|1997| Ford| E350|Go get one now th...| |
|2015|Chevy| Volt| null | null|
这是我的数据框，我想将“制造商”列中的“特斯拉”更改为“S”
使用Spark 1.6.2，Java代码（抱歉），这将在不通过RDD的情况下更改整个数据框中“Tesla”出现的所有实例为“S”：
Spark 1.6.2，Java代码（抱歉），这将在不通过RDD的情况下更改整个数据框中“Tesla”出现的所有实例为“S”：
dataframe.withColumn("make", when(col("make").equalTo("Tesla"), "S")
.otherwise(col("make")
);
编辑后添加@marshall245的“otherwise”，以确保非特斯拉列不被转换为NULL。
在@Azeroth2b的解决方案基础上进行改进。如果您只想替换其中几个项目并保留其余部分不变，请执行以下操作。如果不使用otherwise(...) 方法，则列的其余部分将变为null。
import org.apache.spark.sql.functions._
val newsdf =
sdf.withColumn(
"make",
when(col("make") === "Tesla", "S").otherwise(col("make"))
);
旧的数据框
+-----+-----+
| make|model|
+-----+-----+
|Tesla| S|
| Ford| E350|
|Chevy| Volt|
+-----+-----+
新数据框
+-----+-----+
| make|model|
+-----+-----+
| S| S|
| Ford| E350|
|Chevy| Volt|
+-----+-----+
使用用户定义函数 (udf) 可以在数据框中实现此操作。
import org.apache.spark.sql.functions._
val sqlcont = new org.apache.spark.sql.SQLContext(sc)
val df1 = sqlcont.jsonRDD(sc.parallelize(Array(
"""{"year":2012, "make": "Tesla", "model": "S", "comment": "No Comment", "blank": ""}""",
"""{"year":1997, "make": "Ford", "model": "E350", "comment": "Get one", "blank": ""}""",
"""{"year":2015, "make": "Chevy", "model": "Volt", "comment": "", "blank": ""}"""
)))
val makeSIfTesla = udf {(make: String) =>
if(make == "Tesla") "S" else make
}
df1.withColumn("make", makeSIfTesla(df1("make"))).show
withColumn解决方案才是应该使用的（Azeroth2b的答案）
无法删除已被接受的答案。
以下是我的看法：
val rdd = sc.parallelize(
List( (2012,"Tesla","S"), (1997,"Ford","E350"), (2015,"Chevy","Volt"))
)
val sqlContext = new SQLContext(sc)
// this is used to implicitly convert an RDD to a DataFrame.
import sqlContext.implicits._
val dataframe = rdd.toDF()
dataframe.foreach(println)
dataframe.map(row => {
val row1 = row.getAs[String](1)
val make = if (row1.toLowerCase == "tesla") "S" else row1
Row(row(0),make,row(2))
}).collect().foreach(println)
//[2012,S,S]
//[1997,Ford,E350]
//[2015,Chevy,Volt]
val newDF = dataframe.map(row => { val row1 = row.getAs[String](1) val make = if (row1.toLowerCase == "tesla") "S" else row1 Row(row(0),make,row(2)) })构建新的数据框架。 - cchenesontoDF()从RDD转换为DataFrame。 - cchenesondf2.na.replace("Name",Map("John" -> "Akshay","Cindy" -> "Jayita")).show()
在 DataFrameNaFunctions 类型的 [T] 中使用 replace 函数，参数为字符串类型的列名 col 和替换映射表 replacement: Map[T,T]。
运行此函数需要激活 spark 对象并且 dataframe 必须包含 headers。
import org.apache.spark.sql.DataFrameNaFunctions。 - Tonyimport org.apache.spark.sql.functions._
val base_optin_email = spark.read.option("header","true").option("delimiter",",").schema(schema_base_optin).csv(file_optin_email).where("CPF IS NOT NULL").
withColumn("CARD_KEY", lit(translate( translate(col("cpf"), ".", ""),"-","")))
|2012|S| S|吗？ - ccheneson