Spark数据集 - 强类型化

Question

关于Spark Datasets，强类型API和非强类型API是什么？

Datasets与DataFrames有何相似之处？有何不同之处？

- Arvind Kumar

---

有人可以回答这个问题吗？ - Arvind Kumar

该链接解释了数据集和数据框之间的区别。https://dev59.com/5VwZ5IYBdhLWcg3wYvgk#39033308?noredirect=1#comment68807827_39033308 - Arvind Kumar

Answer 1

Dataframe API是未类型化的API，因为类型只有在运行时才知道。而dataset API则是类型化的API，其类型将在编译时确定。

df.select("device").where("signal > 10")      // using untyped APIs   
ds.filter(_.signal > 10).map(_.device)         // using typed APIs

- Vignesh I

---

完美的例子 @vignesh-i - Sandeep Samal

请纠正我，这不是动态类型和静态类型之间的区别吗？强类型意味着您不能对任何类型执行任何操作。例如，您不能将布尔值转换为整数或将布尔值和字符串相加。这里有一个链接解释了我的想法：https://dev59.com/SHE85IYBdhLWcg3wnU4d - vi_ral

公平地说，没有人真正拥有强类型与静态类型的标准定义，看起来这个问题已经争论了很长时间:D - vi_ral